[논문 리뷰] Minimal Images in Deep Neural Networks: Fragile Object Recognition in Natural Images

Sanjana Srivastava, Guy Ben-Yosef외 1명|arXiv (Cornell University)|2019. 02. 08.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 깊이 신경망(DNN)의 분류 정확도가 미세한 크기나 위치 변화에 매우 민감한 자연 이미지 영역인 취약 인식 이미지(FRIs)를 도입한다. 이는 적대적 노이즈가 없더라도 발생하며, DNN의 취약성은 인간보다 훨씬 심각하다. FRIs는 위치 불변성 문제와 무관하게 자주 발생하며, 정규화나 풀링 조치에도 불구하고 지속되며, DNN의 핵심적 복잡성 격차를 드러낸다.

ABSTRACT

The human ability to recognize objects is impaired when the object is not shown in full. "Minimal images" are the smallest regions of an image that remain recognizable for humans. Ullman et al. 2016 show that a slight modification of the location and size of the visible region of the minimal image produces a sharp drop in human recognition accuracy. In this paper, we demonstrate that such drops in accuracy due to changes of the visible region are a common phenomenon between humans and existing state-of-the-art deep neural networks (DNNs), and are much more prominent in DNNs. We found many cases where DNNs classified one region correctly and the other incorrectly, though they only differed by one row or column of pixels, and were often bigger than the average human minimal image size. We show that this phenomenon is independent from previous works that have reported lack of invariance to minor modifications in object location in DNNs. Our results thus reveal a new failure mode of DNNs that also affects humans to a much lesser degree. They expose how fragile DNN recognition ability is for natural images even without adversarial patterns being introduced. Bringing the robustness of DNNs in natural images to the human level remains an open challenge for the community.

연구 동기 및 목표

• 객체의 가시성이 약간 변화할 때 깊이 신경망(DNN)이 인간과 유사한 취약 인식 행동을 보이는지 조사하기.
• 최신 DNN에서 정의된, 작은 이동이나 크기 변화로 인해 큰 분류 오류가 발생하는 영역인 취약 인식 이미지(FRIs)를 식별하고 특성화하기.
• FRIs가 이전에 연구된 DNN의 실패 사례(예: 객체 위치 이동에 대한 불변성 부족)와 구별되는지 확인하기.
• 일반적인 복잡성 향상 기법인 데이터 증강, 정규화, 풀링의 효과를 평가하여 FRIs로 인한 오류를 줄이는 데 얼마나 효과적인지 분석하기.
• 크기, 위치, 빈도, 인식 성능 측면에서 인간의 최소 이미지와 DNN의 FRIs를 비교하여 취약성 패턴의 근본적 차이점 파악하기.

제안 방법

• 미세한 수정(예: 한 픽셀 이동 또는 두 픽셀 축소)에 따라 DNN 분류 신뢰도와 출력 레이블의 변화를 측정함으로써 체계적으로 영역을 자르는 방식으로 취약 인식 이미지(FRIs)를 식별하였다.
• 최신 모델인 VGG-16, Inception, ResNet을 사용하여 ImageNet에서 FRIs를 평가하였으며, 최소한의 공간적 변형에 대한 인식 정확도와 신뢰도 변화에 중점을 두었다.
• Ullman 등(2016)의 인간 최소 이미지와 DNN의 FRIs 행동을 비교하기 위해 Mechanical Turk를 이용한 인간 참가자 연구를 실시하여 DNN가 생성한 FRIs에서의 인식 성능을 평가하였다.
• 데이터 증강, L2 정규화, 더 큰 풀링 레이어를 적용하여 FRIs 빈도와 심각도에 미치는 영향을 평가하고 기준 모델과 비교하였다.
• 확대 시스템의 영향을 배제하기 위해 이미지 자르기 시 업스케일링 대신 제로 패딩을 사용하여 FRIs 효과의 원인이 확대 아티팩트가 아님을 확인하였다.
• 교차 과도율(IoU)을 사용하여 인간 최소 이미지와 DNN의 FRIs 간의 공간적 겹침을 분석하고, 영역 위치와 객체 부분의 관련성 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 적대적 노이즈 없이도 객체의 가시 영역이 약간 변화할 경우 깊이 신경망(DNN)이 자연 이미지에서 취약 인식 행동을 보이나?
• RQ2 DNN의 취약 인식 영역의 빈도, 크기, 공간적 위치는 인간 최소 이미지와 어떻게 비교되는가?
• RQ3 DNN의 취약 인식은 소규모 객체 위치 이동에 대한 불변성 부족과 같은 기존 실패 원인과 독립적인가?
• RQ4 데이터 증강, 정규화, 풀링과 같은 표준 복잡성 기법이 DNN에서 FRIs 발생 빈도를 효과적으로 줄일 수 있는가?
• RQ5 사람들은 DNN가 생성한 FRIs를 제시받을 경우 유사한 취약성을 보이나, 아니면 이러한 미세한 영역 변화에 대해 여전히 안정적인가?

주요 결과

• 최신 DNN에서 취약 인식 이미지(FRIs)는 풍부하게 존재하며, 평균적으로 1장당 13.4개의 FRI를 보이며, 인간 최소 이미지(1장당 5.3개)의 두 배 이상이다.
• DNN는 정확하게 분류된 FRI 쌍과 잘못된 FRI 쌍 사이에 평균 56%의 신뢰도 격차를 경험하지만, 동일한 이미지 쌍에서 인간의 인식 정확도 격차는 오직 14.5%에 불과하다.
• FRIs는 일반적인 인간 최소 이미지보다 더 큰 영역에서 발생하며, 그 위치는 일반적으로 의미 있는 객체 부분이 아닌 배경 픽셀에 해당하는 경우가 많다. 이는 인간 최소 이미지와는 달리, 주로 눈에 띄는 객체 특징에 중심을 두고 있다.
• 인간 최소 이미지 맵과 DNN의 FRI 맵 간의 교차 과도율(IoU)은 6% 미만으로 나타나 공간적 겹침이 극히 적고, 취약성 패턴이 상이함을 시사한다.
• 데이터 증강, 정규화, 더 큰 풀링 레이어는 FRIs 발생 빈도를 줄이지만 완전히 제거하지는 못하며, 특히 풀링은 취약 인식에 미치는 영향이 미미하여, 이는 위치 불변성 이상의 더 복잡한 실패 모드임을 시사한다.
• 확대가 아닌 제로 패딩을 사용한 결과, 이 현상은 확대 아티팩트로 인한 것이 아니며, 생물학적으로 영감을 받은 DNN에서도 관찰되어 현재 아키텍처의 근본적 특성임을 확인한다.