[논문 리뷰] Testing Deep Neural Network based Image Classifiers.

Yuchi Tian, Ziyuan Zhong외 2명|arXiv (Cornell University)|2019. 05. 20.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 DNN 기반 이미지 분류기에서 그룹 수준의 혼동과 편향을 분석함으로써 모델의 행동을 분석하는 화이트박스 테스팅 도구인 DeepInspect를 제안한다. 이 도구는 수백 개의 분류 오류를 식별하고, 최신의 강건한 모델들에서도 특정 인구 집단에 대한 편향을 드러낸다.

ABSTRACT

Image classification is an important task in today's world with many applications from socio-technical to safety-critical domains. The recent advent of Deep Neural Network (DNN) is the key behind such a wide-spread success. However, such wide adoption comes with the concerns about the reliability of these systems, as several erroneous behaviors have already been reported in many sensitive and critical circumstances. Thus, it has become crucial to rigorously test the image classifiers to ensure high reliability. Many reported erroneous cases in popular neural image classifiers appear because the models often confuse one class with another, or show biases towards some classes over others. These errors usually violate some group properties. Most existing DNN testing and verification techniques focus on per image violations and thus fail to detect such group-level confusions or biases. In this paper, we design, implement and evaluate DeepInspect, a white box testing tool, for automatically detecting confusion and bias of DNN-driven image classification applications. We evaluate DeepInspect using popular DNN-based image classifiers and detect hundreds of classification mistakes. Some of these cases are able to expose potential biases of the network towards certain populations. DeepInspect further reports many classification errors in state-of-the-art robust models.

연구 동기 및 목표

• DNN 기반 이미지 분류기에서 그룹 수준의 혼동과 편향을 탐지할 수 있는 테스팅 방법의 부족을 해결하기 위해.
• 특정 인구 집단에 대한 불공정한 편향이나 클래스 간 혼동으로 인한 분류 오류를 식별하기 위해.
• 개별 이미지 위반을 넘어서 체계적인 결함을 드러낼 수 있는 화이트박스 테스팅 접근법을 개발하기 위해.
• 인기 있고 강건한 DNN 이미지 분류기에서 이 접근법의 효과성을 평가하기 위해.
• 기존의 테스팅 방법이 놓치는 숨겨진 편향과 오분류를 드러내기 위해.

제안 방법

• DeepInspect는 여러 클래스에 걸쳐 활성화 패턴과 결정 경계를 분석함으로써 DNN 이미지 분류기의 화이트박스 분석을 수행한다.
• 모델의 은닉층에서 클래스 표현 간 유사도를 측정하여 잠재적 혼동을 식별한다.
• 도구는 다양한 인구 또는 의미적 그룹의 이미지 간 분류 행동을 비교함으로써 그룹 수준의 분석을 통해 편향을 탐지한다.
• 예측 분포의 이질성을 탐지하기 위해 통계적 및 구조적 점검을 적용하여 편향이나 혼동을 시사하는 이상 현상을 발견한다.
• 딥러닝 모델의 미세한 그러나 체계적인 오분류를 탐지하기 위해 기울기 기반 및 활성화 기반 메트릭을 활용한다.
• 도구는 최신의 모델, 특히 강건하고 적대적 훈련된 네트워크를 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 기존의 개별 이미지 기반 테스팅이 놓치는 그룹 수준의 이미지 클래스 간 혼동을 화이트박스 테스팅 접근법이 탐지할 수 있는가?
• RQ2 DNN 기반 이미지 분류기는 어떤 정도 특정 클래스나 인구 집단에 대해 편향을 보이는가?
• RQ3 DeepInspect는 강건하고 최신의 모델에서 분류 오류를 얼마나 효과적으로 드러내는가?
• RQ4 그룹 수준의 분석을 통해 어떤 유형의 체계적 오분류가 드러나는가?
• RQ5 표준 평가 메트릭으로는 드러나지 않는 편향을 DeepInspect가 탐지할 수 있는가?

주요 결과

• DeepInspect는 기존의 표준 테스팅 방법으로는 드러나지 않은 인기 있는 DNN 기반 이미지 분류기에서 수백 개의 분류 오류를 탐지했다.
• 도구는 특정 인구 집단에 대한 잠재적 편향을 드러내어 분류 결과의 체계적 불공정성을 시사했다.
• 최신의 강건한 모델들에서도 몇 가지 분류 오류가 발견되어, 강건성이 그룹 수준의 공정성이나 정확성 보장을 의미하지는 않는다는 점을 시사했다.
• 의미적으로 유사한 클래스 간의 그룹 수준 혼동이 식별되어 모델의 결정 경계에서의 불안정성을 드러냈다.
• 분석 결과, 개별 이미지 기반 테스팅은 클래스 간에 나타나는 구조적 편향과 혼동을 탐지하는 데에는 부적합하다는 점이 확인되었다.
• DeepInspect는 DNN 기반 이미지 분류의 신뢰성과 공정성을 확보하기 위해 화이트박스이자 그룹 인식 테스팅이 필수적임을 입증했다.