[논문 리뷰] ImageNet-X: Understanding Model Mistakes with Factor of Variation Annotations

Badr Youbi Idrissi, Diane Bouchacourt외 8명|arXiv (Cornell University)|2022. 11. 03.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

ImageNet-X는 ImageNet-1k 검증 세트와 훈련 이미지의 12,000장 서브셋에 대해 인간이 수작업으로 작성한 변동 인자—예를 들어 자세, 조명, 배경, 질감 등—를 제공한다. 이러한 애너테이션을 바탕으로 저자들은 2,200개의 모델을 분석하여 아키텍처와 훈련 파라다임 간에 일관된 실패 유형을 발견하였으며, 데이터 증강은 일부 인자에 대해서는 강건성을 향상시키지만 다른 인자에 대해서는 악화시킴으로써 더 나은 데이터 및 증강 이해의 필요성을 드러낸다.

ABSTRACT

Deep learning vision systems are widely deployed across applications where reliability is critical. However, even today's best models can fail to recognize an object when its pose, lighting, or background varies. While existing benchmarks surface examples challenging for models, they do not explain why such mistakes arise. To address this need, we introduce ImageNet-X, a set of sixteen human annotations of factors such as pose, background, or lighting the entire ImageNet-1k validation set as well as a random subset of 12k training images. Equipped with ImageNet-X, we investigate 2,200 current recognition models and study the types of mistakes as a function of model's (1) architecture, e.g. transformer vs. convolutional, (2) learning paradigm, e.g. supervised vs. self-supervised, and (3) training procedures, e.g., data augmentation. Regardless of these choices, we find models have consistent failure modes across ImageNet-X categories. We also find that while data augmentation can improve robustness to certain factors, they induce spill-over effects to other factors. For example, strong random cropping hurts robustness on smaller objects. Together, these insights suggest to advance the robustness of modern vision models, future research should focus on collecting additional data and understanding data augmentation schemes. Along with these insights, we release a toolkit based on ImageNet-X to spur further study into the mistakes image recognition systems make.

연구 동기 및 목표

• 최근의 최고 수준의 시각 모델이 높은 정확도를 보임에도 불구하고 ImageNet에서 실패하는 이유를 이해하기 위해, 특히 분포 내 변동으로 인한 실패 원인을 밝혀내는 것.
• 모델 오류를 가장 자주 유발하는 특정 인자—예를 들어 자세, 조명, 또는 가림—를 특정하는 것.
• 아키텍처 선택, 학습 파라다임, 데이터 증강 전략이 이러한 인자에 대한 강건성에 어떻게 영향을 미치는지 평가하는 것.
• 평균 정확도를 넘어서 모델 실패를 진단하고 측정할 수 있는 세밀한 인간 애너테이션 기반 벤치마크를 제공하는 것.
• 향후 연구에서 더 나은 데이터 수집 및 증강 설계를 통해 모델 강건성을 향상시키는 데 기여하는 것.

제안 방법

• 자세, 배경, 조명, 색상, 질감, 가림 등 16개의 변동 인자에 대해 1,000장의 검증 이미지와 12,000장의 훈련 이미지를 애너테이션한다.
• 동일한 클래스에서 유사한 프로토타입 이미지 3개와 비교하여 샘플 이미지의 차이를 식별하는 대조적 애너테이션 기법을 사용한다.
• 이미지를 서로 다른 변동 인자(FoV)로 그룹화하여 각 인자에 대한 모델 성능을 평가하고, 세밀한 강건성 분석을 가능하게 한다.
• 다양한 아키텍처, 학습 파라다임(지도학습, 자기지도학습) 및 데이터 증강 전략을 적용한 2,200개의 시각 모델을 훈련하고 평가한다.
• 모델 실패 비율을 전체 정확도 대비로 계산하여 각 인자에 대한 실패 빈도를 정량화하고, 모델 간 비교를 가능하게 한다.
• 유의미한 차이를 평가하기 위해 통계적 검정(예: Alexander-Govern 검정)을 사용한다.

실험 결과

연구 질문

• RQ1 ImageNet에서 모델 실패의 주요 원인이 되는 변동 인자—예를 들어 자세, 조명, 또는 가림—는 무엇인가?
• RQ2 모델 아키텍처와 학습 파라다임은 특정 변동 인자에 대한 강건성에 어떻게 영향을 미치는가?
• RQ3 일반적인 데이터 증강 기법이 목표로 하는 인자에 대해 강건성을 향상시키지만, 관련 없는 인자에 영향을 주는 정도는 어느 정도인가?
• RQ4 다른 데이터 크기, 아키텍처 또는 정규화 방법으로 훈련된 모델들 간에 실패 패턴이 일관된가?
• RQ5 ImageNet 훈련 세트와 검증 세트의 인자 분포는 어떻게 비교되며, 이는 분포 내 일반화에 어떤 함의를 갖는가?

주요 결과

• 모델은 아키텍처, 학습 파라다임, 훈련 절차 간에 일관된 실패 유형을 보이며, 질감, 하위카테고리(예: 강아지 품종) 및 가림이 오류의 가장 흔한 원인이다.
• 데이터 증강은 대상 인자에 대해 강건성을 향상시키지만, 관련 없는 인자에 대해서는 성능을 떨어뜨릴 수 있다. 예를 들어, 색상 왜곡은 색상과 밝기의 강건성을 향상시키지만 자세에 대해서는 악화시킬 수 있다.
• 자르기(cropping)는 자세와 부분 시야에 대한 강건성을 향상시키지만, 패턴, 배경, 질감에 대해서는 부정적인 영향을 미쳐 오염 효과(spill-over effects)를 보인다.
• ImageNet의 훈련 세트와 검증 세트는 유사한 인자 분포를 공유하고 있어, 실패 유형이 데이터 분포 이질성 때문이 아니라 모델의 본질적 취약성 때문임을 시사한다.
• ImageNet-X 애너테이션은 자세와 배경이 데이터셋에서 가장 흔한 변동 원인임을 드러내며, 일부 클래스(예: 개)는 다른 클래스보다 자세의 변동성이 더 높은 편이다.
• 다양한 모델 설계와 훈련 방법에도 불구하고, 각 인자에 대한 오류 비율은 매우 유사하게 유지되며, 현재 시각 분야의 모델들이 공통된 실패 패tern을 공유하고 있음을 시사한다.