[논문 리뷰] I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively

Haotao Wang, Tianlong Chen외 2명|arXiv (Cornell University)|2020. 02. 25.

Cell Image Analysis Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 이미지 분류기 간 성능 차이를 최대한 드러내는 데 최소한의 자연 이미지를 선택함으로써 적응적으로 비교할 수 있는 새로운 프레임워크인 MAximum Discrepancy (MAD) 경쟁을 제안한다. WordNet 계층 구조를 기반으로 한 의미적 거리와 반복적 샘플링을 활용하여 분류기 간의 이견을 최대화함으로써, 기존의 고정된 테스트 세트에서는 드러나지 않는 모델 고유의 역설적 예시를 파악한다. 11개의 ImageNet 분류기에서 검증된 바, k=30일 때 안정적인 순위가 유지된다.

ABSTRACT

The learning of hierarchical representations for image classification has experienced an impressive series of successes due in part to the availability of large-scale labeled data for training. On the other hand, the trained classifiers have traditionally been evaluated on small and fixed sets of test images, which are deemed to be extremely sparsely distributed in the space of all natural images. It is thus questionable whether recent performance improvements on the excessively re-used test sets generalize to real-world natural images with much richer content variations. Inspired by efficient stimulus selection for testing perceptual models in psychophysical and physiological studies, we present an alternative framework for comparing image classifiers, which we name the MAximum Discrepancy (MAD) competition. Rather than comparing image classifiers using fixed test images, we adaptively sample a small test set from an arbitrarily large corpus of unlabeled images so as to maximize the discrepancies between the classifiers, measured by the distance over WordNet hierarchy. Human labeling on the resulting model-dependent image sets reveals the relative performance of the competing classifiers, and provides useful insights on potential ways to improve them. We report the MAD competition results of eleven ImageNet classifiers while noting that the framework is readily extensible and cost-effective to add future classifiers into the competition. Codes can be found at https://github.com/TAMU-VITA/MAD.

연구 동기 및 목표

• 실제 자연 이미지에서 이미지 분류기의 일반화 능력을 평가하는 데 있어 고정된, 작은 테스트 세트의 한계를 해결하기 위해.
• 모델 비교를 위한 테스트 세트의 대표성과 분류 능력을 높이며, 인간 레이블링 비용을 줄이기 위해.
• 모델 간 성능 이견을 기반으로 하여 분류기를 반증할 수 있도록 적응적으로 이미지를 선택하는 확장 가능한, 비용 효율적인 프레임워크를 개발하기 위해.
• 분류기 간 이견이 발생하는 이미지 수준의 역설적 예시를 식별함으로써, 모델의 편향과 실패 유형에 대한 해석 가능한 통찰을 제공하기 위해.
• 표준 검증 세트의 정확도를 넘어서, 더 공정하고 강력한 딥러닝 모델 비교를 가능하게 하기 위해.

제안 방법

• MAD 경쟁은 초기 풀로 대규모 웹 스케일의 레이블이 없는 자연 이미지 컬렉션을 사용한다.
• 각 이미지에 대해, 가중치가 부여된 WordNet 계층 구조 거리에 기반한 의미적 이견 점수를 두 분류기 간에 계산한다. 이는 분류기가 의미 공간에서 얼마나 다르게 이미지를 분류하는지 정량화한다.
• 예측된 이견을 기반으로 이미지를 반복적으로 선택하며, 경쟁 분류기 간의 이견을 최대화하는 이미지를 우선순위에 두어 선택한다.
• 신뢰도 기반 샘플링 전략을 사용하여 분류기가 가장 강하게 이견을 보이는 이미지에 집중함으로써, 높은 분류 능력을 확보한다.
• 상위-k개의 가장 이견이 큰 이미지의 대표적인 서브셋을 인간 레이블링을 위해 정제한다. 이는 모델 간 성능 차이를 검증하기 위함이다.
• 최종적으로, 선택된 고이견 이미지에서 인간 검증 레이블을 기반으로 분류기 순위를 도출함으로써 상대적 성능 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정된, 사전 선택된 벤치마크에 의존하는 대신, 이미지 분류기 간 성능 차이를 최대한 탐지할 수 있도록 테스트 세트를 적응적으로 구성할 수 있는가?
• RQ2 WordNet 계층 구조를 통한 의미적 유사도는 인간의 지각적 차이를 반영하는 방식으로 모델 이견을 정량화하고 최대화할 수 있는가?
• RQ3 MAD 경쟁은 표준 정확도 지표로는 드러나지 않는 최신 ImageNet 분류기의 일반화 결함을 어느 정도 드러낼 수 있는가?
• RQ4 정확도가 표준 세트에서 거의 동일한 다양한 분류기 쌍 간의 비교에 대해 MAD 프레임워크는 안정적이고 신뢰할 수 있는가?
• RQ5 의료 영상이나 자율주행 시스템과 같이 지표 레이블링 비용이 높은 분야로 MAD 프레임워크를 확장할 수 있는가?

주요 결과

• MAD 경쟁은 표준 ImageNet 검증 세트에서 거의 동일한 정확도를 보인 ImageNet 분류기 간의 성능 격차를 성공적으로 구분하여, 이전에 드러나지 않았던 성능 격차를 드러냈다.
• MAD 결과 기반 분류기 순위는 k>15일 때 높은 안정성(Spearman 순위 상관관계 >0.90)을 보였으며, 이는 k=30을 안정적인 글로벌 순위 기준으로 사용하는 데에 타당성을 제공한다.
• 상위-30개의 가장 이견이 큰 이미지에 대한 인간 레이블링 결과, 분류기들이 표준 벤치마크에 잘 반영되지 않은 의미적으로 미묘하거나 희귀한 이미지 카테고리에서 실패하는 경향이 있음을 확인했다.
• 특정 역설적 예시에서 한 분류기는 실패했지만 다른 분류기는 성공한 경우를 식별함으로써, 모델 개선 및 앙상블 설계에 실질적인 통찰을 제공했다.
• MAD가 선택한 이미지는 모델 고유의 약점을 드러내는 자연스러운 적대적 예시로 기능하며, 특히 의미적 변형과 희귀한 이미지 개념 처리에 있어 약점을 노출시킨다.
• 이 방법은 실용적인 확장성과 비용 효율성을 입증하여, 대규모 이미지 컬렉션의 전체적인 인간 레이블링 없이도 의미 있는 모델 비교를 가능하게 했다.