[논문 리뷰] Discovering Bugs in Vision Models using Off-the-shelf Image Generation and Captioning

Olivia Wiles, Isabela Albuquerque외 1명|arXiv (Cornell University)|2022. 08. 18.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 시각 분류기의 강건성 결함을 자동으로 탐지하기 위한 새로운 확장 가능한 방법을 제안한다. 기성의 텍스트-이미지 및 이미지 캡션 모델을 활용하여, 클래스 레이블에서 합성 이미지를 생성하고 자연어 기반 설명을 통해 잘못 분류된 예시를 분석함으로써 인간이 이해할 수 있는 실패 케이스와 비자연스러운 상관관계를 수동 데이터 수집이나 합성 데이터셋 준비 없이 드러낸다. 이 방법은 ImageNet 모델에서 높은 실패 탐지율을 달성한다.

ABSTRACT

Automatically discovering failures in vision models under real-world settings remains an open challenge. This work demonstrates how off-the-shelf, large-scale, image-to-text and text-to-image models, trained on vast amounts of data, can be leveraged to automatically find such failures. In essence, a conditional text-to-image generative model is used to generate large amounts of synthetic, yet realistic, inputs given a ground-truth label. Misclassified inputs are clustered and a captioning model is used to describe each cluster. Each cluster's description is used in turn to generate more inputs and assess whether specific clusters induce more failures than expected. We use this pipeline to demonstrate that we can effectively interrogate classifiers trained on ImageNet to find specific failure cases and discover spurious correlations. We also show that we can scale the approach to generate adversarial datasets targeting specific classifier architectures. This work serves as a proof-of-concept demonstrating the utility of large-scale generative models to automatically discover bugs in vision models in an open-ended manner. We also describe a number of limitations and pitfalls related to this approach.

연구 동기 및 목표

• 수동으로 정렬된 데이터셋에 의존하지 않고 실제 세계의 분포 이탈 상황에서 시각 분류기의 강건성 결함을 식별하는 문제를 해결하기 위해.
• 사전 훈련된 생성 모델을 활용해 개방형이고 확장 가능한 방식으로 시각 모델의 실패 케이스를 탐지하기 위해.
• 잘못 분류된 입력에 대해 캡션 모델을 활용해 인간이 이해할 수 있는 자연어 기반 설명을 제공함으로써 모델 실패의 원인을 밝혀내기 위해.
• 발견된 실패 패턴이 다양한 생성 모델과 실제 이미지 간에 일반화됨을 입증하기 위해.
• 반복적으로 텍스트 기술을 수정하여 실패의 원인을 탐색할 수 있도록 가능한 반사적 분석을 가능하게 하기 위해.

제안 방법

• 사전 훈련된 텍스트-이미지 모델을 활용해 주어진 클래스 레이블에 조건부로 다양한 현실적인 이미지를 생성함으로써 평가를 위한 합성 데이터셋을 구축한다.
• 사전 훈련된 시각-언어 캡션 모델을 사용해 잘못 분류된 이미지의 자연어 기술을 생성함으로써 오류를 유발하는 의미적 내용을 포착한다.
• 피드백 루프 형성: 캡션 기술을 바탕으로 새로운 이미지를 생성하고 실패 비율을 측정함으로써 고위험 텍스트 개념을 식별한다.
• 실패 비율을 계산하기 위해, 특정 기술에서 생성된 이미지가 모델에 의해 잘못 분류될 조건부 확률을, 단지 클래스 레이블만으로의 기준선 대비로 계산한다.
• 캡션 기술에 따라 잘못 분류된 이미지를 군집화하고 분석하여 반복되는 실패 패턴과 비자연스러운 상관관계를 식별한다.
• 수동 또는 자동으로 기술을 반복적으로 개선하여 반사적 분석을 수행하고 실패의 근본 원인을 탐색한다.

실험 결과

연구 질문

• RQ1 기성의 텍스트-이미지 및 캡션 모델을 사용해 새로운 데이터 수집 없이도 시각 분류기의 실패 케이스를 자동으로 탐지할 수 있는가?
• RQ2 발견된 실패 케이스는 다양한 생성 모델과 실제 이미지 간에 일반화되는가?
• RQ3 잘못 분류된 이미지의 자연어 기술이 인간이 이해할 수 있는 방식으로 모델 실패의 원인을 설명할 수 있는가?
• RQ4 이 방법을 통해 어떤 종류의 비자연스러운 상관관계나 단기 학습 행동을 드러낼 수 있는가?
• RQ5 이 방법은 다양한 ImageNet 클래스에서 강건성 결함을 탐지하는 데 얼마나 확장 가능하고 효과적인가?

주요 결과

• 이 방법은 ResNet-50 및 비전 트랜스포머 모델에서 ImageNet에서 실패 케이스를 성공적으로 탐지했으며, 특정 텍스트 기술에 대해 기준선 예측을 크게 초월하는 실패 비율을 기록했다.
• 캡션과 이미지 생성을 통해 발견된 실패 패턴은 Google 이미지 검색을 통해 확보한 실제 이미지로도 일반화되었으며, 실제 세계 적용 가능성에 대한 검증이 이루어졌다.
• 이 방법은 '로빈'과 '에프트' 또는 '벌'과 ' soapsuds dispenser' 사이의 혼동과 같은 비자연스러운 상관관계를 드러내었으며, 이는 시각적 및 의미적 유사성과 관련이 있었다.
• 실패 탐지 파이프라인은 높은 확장성을 보였으며, 수동 데이터 정제 없이도 특정 모델 아키텍처를 겨냥한 대규모 대비 데이터셋을 생성할 수 있었다.
• 실패에 대한 인간이 이해할 수 있는 기술 기반 설명 덕분에 효과적인 반사적 분석이 가능했으며, 프롬프트의 미세한 변화가 모델 예측을 극적으로 변화시킬 수 있음을 확인했다.
• 도메인 특화 데이터 수집이나 전문가가 설계한 대비 예시가 필요 없이도, 이 방법은 기존의 기초 방법보다 실패 탐지 성능에서 뛰어난 성능을 보였다.