[논문 리뷰] Confidence from Invariance to Image Transformations

Yuval Bahat, Gregory Shakhnarovich|arXiv (Cornell University)|2018. 04. 02.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 15

한 줄 요약

이 논문은 자연 이미지 변환에 대한 시각 분류기의 불변성(인variant)을 측정하여 분류 오류 및 새로운 입력을 검출하는 블랙박스 방법을 제안한다. 동일한 입력의 변환된 버전들에 대한 분류기 출력을 기반으로 다층퍼셉트론(MLP)을 훈련시켜, STL-10, CIFAR-100, ImageNet 데이터셋에서 오류 및 신규성 검출에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 ImageNet에서 오류 검출 분야에서 최초로 SOTA 성능을 기록하였다.

ABSTRACT

We develop a technique for automatically detecting the classification errors of a pre-trained visual classifier. Our method is agnostic to the form of the classifier, requiring access only to classifier responses to a set of inputs. We train a parametric binary classifier (error/correct) on a representation derived from a set of classifier responses generated from multiple copies of the same input, each subject to a different natural image transformation. Thus, we establish a measure of confidence in classifier's decision by analyzing the invariance of its decision under various transformations. In experiments with multiple data sets (STL-10,CIFAR-100,ImageNet) and classifiers, we demonstrate new state of the art for the error detection task. In addition, we apply our technique to novelty detection scenarios, where we also demonstrate state of the art results.

연구 동기 및 목표

• 모델 내부 정보나 재훈련, 아키텍처 수정 없이도 어떤 사전 훈련된 시각 분류기와도 작동하는 일반적인 오류 검출 방법을 개발하는 것.
• 최대 소프트맥스 점수를 넘어서 자연 이미지 변환에 대한 출력 안정성 분석을 통해 신뢰도 추정을 향상시키는 것.
• 표준 분류기가 실패하는 경우인 외부 도메인 및 외부 클래스 상황을 포함한 새로운 유형 검출로 접근을 확장하는 것.
• 이전 연구에서 다루지 않은 바가 많았던 대규모 벤치마크인 ImageNet에서 오류 검출 분야의 새로운 최신 기술 수준(SOTA)을 확립하는 것.

제안 방법

• 동일한 입력 이미지의 다수의 변환된 형태에 대해 분류기의 반응(예: 소프트맥스 출력)을 수집하며, 다양한 자연 이미지 변환을 활용한다.
• 분류기의 출력 변동성에 대한 표현을 구성하여, 정확한 예측와 잘못된 예측를 구분하는 데 도움이 되는 불변성 패턴을 포착한다.
• 변환된 반응 패턴을 기반으로 오분류 가능성 확률을 예측하는 이진 검출기로 다층퍼셉트론(MLP)을 훈련시킨다.
• 이 방법은 완전히 블랙박스 방식이다. 내부 구조나 기울기 정보 없이, 변환된 입력에 대한 분류기 출력만을 요구한다.
• 신규성 검출을 위해, 동일한 불변성 신호를 활용하여 알려지지 않은 도메인 또는 클래스의 입력을 탐지하도록 방법을 변형한다.
• 특히, 알려지지 않은 도메인의 데이터(예: CIFAR-100을 사용해 SVHN 검출 성능 향상)를 활용해 교차 훈련을 수행함으로써 도메인 이동에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 모델 내부 정보에 접근하지 않고도 자연 이미지 변환에 대한 분류기 출력 불변성으로 오분류를 탐지할 수 있는가?
• RQ2 변환 간 안정성 측정이 최대 소프트맥스 점수에 의존하는 것보다 오류 검출 성능을 향상시키는가?
• RQ3 이러한 불변성 기반 방법이 외부 도메인 및 외부 클래스 상황을 포함한 신규성 검출에 일반화 가능한가?
• RQ4 이전의 SOTA 방법이 강력한 성능을 내지 못했던 대규모 벤치마크인 ImageNet에서도 이 방법이 효과적인가?

주요 결과

• STL-10 오류 검출 벤치마크에서 최신 기술 수준(AUROC 0.902)을 달성하여 DBC 및 MC-dropout 등의 이전 방법들을 초월하였다.
• ResNet-50 분류기를 사용한 ImageNet에서 AUROC 0.879를 기록하여, 이 데이터셋에서 오류 검출 분야의 첫 번째 보고된 SOTA 성능을 달성하였다.
• 외부 도메인 신규성 검출(예: STL-10 분류기에 SVHN 이미지 입력)의 경우, 신규 도메인에서 교차 훈련을 수행한 결과 AUROC 0.860을 기록하여 MSR 및 기타 기준 방법보다 뚜렷이 뛰어났다.
• 동일한 데이터셋 내에서 새로운 클래스를 탐지할 때(예: 두 클래스를 새로운 클래스로 간주), 평균 AUROC 0.762를 기록하여 MSR의 0.715보다 뚜렷한 향상을 보였다.
• 교차 훈련 버전('Ours, Cross-train')은 모든 설정에서 일관되게 성능 향상을 보이며, 검출기 일반화에 도메인 기반 데이터 증강의 가치를 입증하였다.