[논문 리뷰] Analyzing ImageNet with Spectral Relevance Analysis: Towards ImageNet un-Hans'ed.

Christopher J. Anders, Talmaj Marinč외 4명|arXiv (Cornell University)|2019. 12. 22.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 10

한 줄 요약

이 논문은 Spectral Relevance Analysis (SpRAy)를 사용하여 ImageNet 내에서 Clever Hans 행동을 탐지하고 완화하기 위한 확장 가능한 프레임워크를 제안한다. 이는 새로운 워셔스타인 기반의 할당량 비교를 통해 임의의 상관관계를 식별하고, 편향된 클래스를 정량화하며, 모델 예측의 아티팩트 기반 원인을 크게 줄이는 체계적인 데이터 정제 절차를 적용한다.

ABSTRACT

Today's machine learning models for computer vision are typically trained on very large (benchmark) data sets with millions of samples. These may, however, contain biases, artifacts, or errors that have gone unnoticed and are exploited by the model. In the worst case, the trained model may become a 'Clever Hans' predictor that does not learn a valid and generalizable strategy to solve the problem it was trained for, but bases its decisions on spurious correlations in the training data. Recently developed techniques allow to explain individual model decisions and thus to gain deeper insights into the model's prediction strategies. In this paper, we contribute by providing a comprehensive analysis framework based on a scalable statistical analysis of attributions from explanation methods for large data corpora, here ImageNet. Based on a recent technique - Spectral Relevance Analysis (SpRAy) - we propose three technical contributions and resulting findings: (a) novel similarity metrics based on Wasserstein for comparing attributions to allow for the first time scale, translational, and rotational invariant comparisons of attributions, (b) a scalable quantification of artifactual and poisoned classes where the ML models under study exhibit Clever Hans behavior, (c) a cleaning procedure that allows to relief data of artifacts and biases in a systematic manner yielding significantly reduced Clever Hans behavior, i.e. we un-Hans the ImageNet data corpus. Using this novel method set, we provide qualitative and quantitative analyses of the biases and artifacts in ImageNet and demonstrate that the usage of these insights can give rise to improved models and functionally cleaned data corpora.

연구 동기 및 목표

• 모델이 일반화 가능한 특징을 학습하는 대신 편향된 상관관계에 의존하게 하는 대규모 데이터셋(예: ImageNet) 내 편향과 아티팩트를 식별하고 정량화하는 것.
• 수백만 장의 이미지에 걸쳐 모델 할당량 지도를 분석할 수 있는 확장 가능한 방법을 개발하여 Clever Hans 행동을 나타내는 체계적 이탈을 탐지하는 것.
• 모델 학습을 오염시키는 아티팩트나 악성 클래스를 식별하고 제거하여 이미지 데이터셋의 체계적 정제를 가능하게 하는 것.
• 할당량 기반 분석에 기반한 데이터 정제를 통해 ImageNet을 'Un-Hansing'함으로써 모델의 강건성과 일반화 능력을 향상시키는 것.

제안 방법

• 스케일, 이동, 회전에 대해 불변인 할당량 지도 간 비교를 가능하게 하는 새로운 워셔스타인 기반 유사도 메트릭을 제안한다.
• 전체 ImageNet 데이터셋에 걸쳐 대규모로 할당량 지도를 계산하고 분석하기 위해 Spectral Relevance Analysis (SpRAy)를 적용한다.
• 할당량 패턴을 기반으로 아티팩트 또는 악성 신호 수준이 높은 클래스를 식별하기 위한 정량화 파이프라인을 도입한다.
• 할당량 분석에 기반하여 강한 허위 상관관계를 보이는 이미지나 클래스를 제거하는 데이터 정제 절차를 개발한다.
• 할당량 분포의 통계 모델링을 통해 모델이 비의미적 신호(예: 배경 패턴, 질감 등)에 의존하는 데이터셋 영역을 탐지하고 고립한다.
• 정제 후 모델 평가를 통해 정제 과정의 효과를 검증하며, Clever Hans 행동 감소 정도를 측정한다.

실험 결과

연구 질문

• RQ1 학습 데이터 내 허위 상관관계로 인해 ImageNet의 어떤 클래스가 강력한 Clever Hans 행동 증거를 보이는가?
• RQ2 스케일, 이동, 회전에 대해 불변인 방식으로 할당량 지도를 비교하여 아티팩트를 신뢰성 있게 탐지할 수 있는 방법은 무엇인가?
• RQ3 체계적인 데이터 정제가 정제된 데이터셋으로 미세조정된 모델에서 Clever Hans 행동을 어느 정도 감소시킬 수 있는가?
• RQ4 할당량 지도의 스펙트럼 분석을 통해 기존에는 발견되지 않았던 ImageNet 내 대규모의 편향 또는 아티팩트를 드러낼 수 있는가?
• RQ5 아티팩트가 많은 이미지를 제거함으로써 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 워셔스타인 기반 할당량 비교 메트릭이 다양한 이미지 변환에 걸쳐 할당량 지도의 강건하고 불변적인 비교를 가능하게 했다.
• ImageNet의 다수의 클래스에서 높은 수준의 아티팩트 또는 악성 신호가 확인되어 광범위한 Clever Hans 행동이 존재하는 것으로 나타났다.
• 데이터 정제 절차가 후행 모델에서 Clever Hans 행동을 효과적으로 감소시켜, 분포 외부 및 정제된 데이터에 대한 일반화 능력 향상을 이끌어냈다.
• 정제 후 모델은 배경 패턴이나 질감과 같은 비의미적 신호에 대한 의존도를 줄였으며, 이는 허위 상관관계의 완화를 확인하는 데 기여했다.
• 이 프레임워크는 할당량 기반 분석을 통해 ImageNet 전반에 걸친 아티팩트 유행도에 대한 첫 번째 대규모 정량 평가를 가능하게 했다.
• 이 연구는 설명 가능성 기반 방법에 기반한 체계적 데이터 정제가 기능적으로 더 깔끔한 데이터셋을 만들어내고, 모델 성능과 신뢰성을 향상시킬 수 있음을 입증했다.