[논문 리뷰] Overinterpretation reveals image classification model pathologies

Brandon Carter, Siddhartha Jain외 2명|arXiv (Cornell University)|2020. 03. 19.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 9

한 줄 요약

이 논문은 이미지 분류 모델에서 발생하는 '과도 해석(overinterpretation)'이라는 병태를 규명한다. 이는 의미 없는, 주요 요소가 아닌 이미지 영역에 기반해 높은 신뢰도의 예측을 내리는 현상이다. 새로운 배치 그래디언트 SIS 방법을 통해 저자들은 CIFAR-10과 ImageNet의 모델이 입력 픽셀의 95%가 마스킹된 상태에서도 높은 정확도를 달성할 수 있음을 보여주며, 벤치마크 데이터셋에서 모델이 유의미한 특징을 학습하는 대신 유사한 통계적 패턴을 악용하고 있음을 드러낸다.

ABSTRACT

Image classifiers are typically scored on their test set accuracy, but high accuracy can mask a subtle type of model failure. We find that high scoring convolutional neural networks (CNNs) on popular benchmarks exhibit troubling pathologies that allow them to display high accuracy even in the absence of semantically salient features. When a model provides a high-confidence decision without salient supporting input features, we say the classifier has overinterpreted its input, finding too much class-evidence in patterns that appear nonsensical to humans. Here, we demonstrate that neural networks trained on CIFAR-10 and ImageNet suffer from overinterpretation, and we find models on CIFAR-10 make confident predictions even when 95% of input images are masked and humans cannot discern salient features in the remaining pixel-subsets. We introduce Batched Gradient SIS, a new method for discovering sufficient input subsets for complex datasets, and use this method to show the sufficiency of border pixels in ImageNet for training and testing. Although these patterns portend potential model fragility in real-world deployment, they are in fact valid statistical patterns of the benchmark that alone suffice to attain high test accuracy. Unlike adversarial examples, overinterpretation relies upon unmodified image pixels. We find ensembling and input dropout can each help mitigate overinterpretation.

연구 동기 및 목표

• 딥 러닝 모델에서 이전에 인식되지 않았던 고장 모드인 '과도 해석'을 규명하고 진단하는 것: 모델이 의미 없는, 주요 요소가 아닌 이미지 영역에 기반해 확신 있는 예측을 내리는 방식.
• CIFAR-10과 ImageNet과 같은 표준 벤치마크에서 높은 테스트 정확도가 유사한 통계적 신호에 의존함으로써 모델의 취약성을 가리킬 수 있음을 보여주는 것.
• 이상 최소 입력 부분집합(SIS)을 식별하는 데 효과적인 스케일러블한 방법인 '배치 그래디언트 SIS'를 개발하고 적용하는 것.
• 앙상블과 입력 드롭아웃과 같은 완화 전략이 과도 해석을 줄이고 특징의 해석 가능성을 향상시키는 데 미치는 영향을 평가하는 것.
• 이러한 병태가 사회적 영향과 데이터셋 셋업에 미치는 영향을 강조하며, 더 강력하고 다양한 훈련 데이터를 요구하는 것.

제안 방법

• ImageNet과 같은 고차원 데이터에서 이미지 분류 결정에 필요한 최소한의 입력 부분집합(SIS)을 효율적으로 식별하기 위해 새로운 방법인 '배치 그래디언트 SIS'를 제안한다.
• 기울기를 기반으로 한 마스킹을 사용하여, 신뢰도 기준(예: 0.9) 이상의 예측을 내릴 수 있는 최소 픽셀 집합을 반복적으로 식별한다.
• ResNets, DenseNets, Vision Transformers(ViT)를 포함한 여러 모델에 대해 CIFAR-10과 ImageNet에서 SIS 크기와 구성성을 평가한다.
• 입력 픽셀의 90–95%를 체계적으로 마스킹하고 재평가하여 나머지 특징이 얼마나 충분한지 테스트한다.
• 인간 평가를 통해 SIS 영역이 비록 모델이 확신 있는 예측을 내리더라도 의미 없는 콘텐츠를 포함하고 있음을 확인한다.
• 앙상블과 입력 드롭아웃을 추론 중에 적용하여 과도 해석 감소와 SIS의 의미적 일관성 증가에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 CIFAR-10과 ImageNet의 최신 이미지 분류기들은 확신 있는 예측을 내리기 위해 비주요 요소이자 의미 없는 이미지 영역에 얼마나 의존하는가?
• RQ2 입력 픽셀의 95%가 마스킹된 상태에서도, 나머지 픽셀에 명백한 의미 있는 특징이 없더라도 모델이 높은 테스트 정확도를 유지할 수 있는가?
• RQ3 모델이 입력을 과도하게 해석할 수 있게 해주는 유사한 통계적 신호의 통계적 성격은 무엇이며, 훈련 및 테스트 분포 간에 어떻게 일반화되는가?
• RQ4 앙성과 입력 드롭아웃은 더 의미 있는 특징에 의존하도록 유도함으로써 과도 해석을 효과적으로 줄일 수 있는가?
• RQ5 Vision Transformers(ViT)는 ImageNet에서 CNN에 비해 과도 해석에 더 취약한가?

주요 결과

• CIFAR-10에서 모델은 입력 픽셀의 95%가 마스킹된 상태에서도 높은 테스트 정확도(최대 95.5%)를 유지하며, 이는 최소한의 비의미적인 픽셀 부분집합에 기반한 예측이다.
• ImageNet에서는 원본 이미지 픽셀의 10%만 남아도 높은 정확도(80% 이상)를 달성하며, 이는 테두리나 질감 유사 패턴만으로도 분류가 가능함을 시사한다.
• ImageNet 클래스 간 평균 SIS 크기는 베어스킨의 1.1%에서 영국 포청개구리의 40.0%까지 다양하며, 많은 클래스가 5% 미만의 픽셀로 확신 있는 예측을 내린다.
• Vision Transformers(ViT) 역시 과도 해석을 보이며, SIS 영역은 의미 없는 패턴을 포함하고 있지만 여전히 ≥90%의 신뢰도 예측을 낸다.
• 앙성과 입력 드롭아웃은 SIS의 의미적 내용을 증가시켜 과도 해석을 줄이지만, 여전히 유사한 통계적 신호에 의존하는 경향을 완전히 제거하지는 못한다.
• 이 연구는 과도 해석이 CIFAR-10과 ImageNet과 같은 벤치마크의 통계적 성질이자 모델 특이적 결함이 아니며, 데이터 분포 내에서의 열악한 신호에서 기인함을 드러낸다.