[논문 리뷰] Formal Verification of CNN-based Perception Systems

Panagiotis Kouvaros, Alessio Lomuscio|arXiv (Cornell University)|2018. 11. 28.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 22

한 줄 요약

이 논문은 혼합정수선형계획법(MILP)을 사용하여 캐리어 기반 인식 시스템의 형식적 검증 방법을 제안하며, 애핀 및 광학적 이미지 변환에 대한 국소적 변환 안정성(robustness)을 평가한다. 이 방법은 완전성 보장을 제공하며, 자동으로 안정성 위반을 식별한다. 결과적으로 표준 MNIST CNN은 작은 변환에 취약한 것으로 드러났으며, 검증된 변환을 사용한 적대적 재학습 이후 정확도가 19%에서 26%로 향상되었다.

ABSTRACT

We address the problem of verifying neural-based perception systems implemented by convolutional neural networks. We define a notion of local robustness based on affine and photometric transformations. We show the notion cannot be captured by previously employed notions of robustness. The method proposed is based on reachability analysis for feed-forward neural networks and relies on MILP encodings of both the CNNs and transformations under question. We present an implementation and discuss the experimental results obtained for a CNN trained from the MNIST data set.

연구 동기 및 목표

• 안전이 중요한 자율 시스템의 학습 기반 인식 구성 요소에 대한 형식적 검증 방법의 부족을 해결하기 위해.
• 실제 운영 환경에서 관련된 기하학적 및 광학적 이미지 변형을 대상으로 하는 새로운 안정성 개념인 국소적 변환 안정성(local transformational robustness)을 정의하기 위해.
• 지정된 변환 하에서 모든 안정성 위반을 탐지할 수 있는 완전하고 자동화된 CNN 분류기 검증 방법을 개발하기 위해.
• 형식적 검증과 적대적 재학습을 통해 CNN 안정성의 체계적 평가 및 향상 가능성을 제공하기 위해.
• 픽셀 수준의 변형에서부터 구조적 이미지 변환으로의 형식적 검증 기법 확장으로, 보다 현실적이고 타당한 보장 수준 향상하기 위해.

제안 방법

• 이 방법은 피드포워드 신경망에 대한 도달 가능성 분석 과제로 안정성 검증 문제를 공식화한다.
• CNN 아키텍처와 변환 제약 조건을 모두 혼합정수선형계획형식(MILP)으로 표현한다.
• MILP 공식화는 완전한 검증을 가능하게 하며, 특정 변환 하에서 오분류가 존재할 경우 반드시 발견됨을 보장한다.
• 이 방법은 이동, 확대/축소, 회전, 밝기, 대비 변화 등 다양한 변환을 지원한다.
• 이 프레임워크는 VENUS라는 도구로 구현되었으며, 이 도구는 재학습을 통해 안정성을 향상시키기 위해 변환된 이미지를 생성한다.
• 이 방법은 MNIST에 대해 학습된 CNN에 적용되었으며, 검증 및 재학습 파이프라인은 완전히 자동화되었다.

실험 결과

연구 질문

• RQ1 구조적 이미지 변환에 대해 완전성 보장을 갖는 형식적 검증이 CNN 기반 인식 시스템에 적용될 수 있는가?
• RQ2 국소적 변환 안정성은 픽셀 단위의 변형에 기반한 기존의 국소적 안정성과 어떻게 다를 수 있으며, 이를 어떻게 향상시킬 수 있는가?
• RQ3 MNIST에 대해 학습된 표준 CNN은 이동 및 대비 변화와 같은 실제 이미지 변환에 얼마나 견딜 수 있는가?
• RQ4 검증된 변환 데이터를 사용하여 적대적 재학습을 통해 CNN의 안정성을 향상시킬 수 있는가?
• RQ5 MILP 기반 검증 방법의 확장성은 네트워크 크기와 변환 복잡성에 따라 어떻게 달라지는가?

주요 결과

• MNIST에 대해 학습된 CNN은 국소적 변환 안정성이 확보되지 않아, 작은 이동, 확대/축소, 서브샘플링 조건에서도 오분류가 발생하는 것으로 밝혀졌다.
• 또한 밝기 및 대비 변화 조건에서도 취약성을 보이며, 광학적 변형에 대한 안정성이 낮음을 시사했다.
• 검증 과정에서 네트워크의 변환된 MNIST 이미지에 대한 정확도가 재학습 이전에 19%로 떨어지는 것으로 확인되었다.
• VENUS 도구를 통해 생성된 10,000여 개의 변환 이미지를 사용해 훈련 세트를 보강한 후, 네트워크의 정확도는 26%로 향상되었다.
• MILP 기반 방법은 지정된 변환 하에서 모든 안정성 위반을 성공적으로 식별하여 완전성 보장을 확인했다.
• 네트워크 크가 증가함에 따라 MILP 표현이 복잡해져 성능 저하가 발생함을 확인하였으며, 이는 확장성 향상의 필요성을 시사한다.