[논문 리뷰] LANCE: Stress-testing Visual Models by Generating Language-guided Counterfactual Images

Viraj Prabhu, Sriram Yenamandra외 2명|arXiv (Cornell University)|2023. 05. 30.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

LANCE는 특정 시각적 속성(예: 객체, 색상, 배경)을 변화시키면서도 원래 레이블을 유지하는 언어 유도 역설적 이미지를 생성함으로써 시각 모델을 자동으로 스트레스 테스트하는 방법을 제안한다. 대규모 언어 모델과 텍스트-이미지 확산 모델을 활용하여 현실적이고 다양한 테스트 이미지를 생성함으로써 모델의 취약점을 드러내며, ImageNet의 다양한 사전학습된 모델에서 성능 저하가 뚜렷하고 일관되게 나타남을 확인하였다. 특히 클래스 수준의 편향을 탐지하는 데서 두드러진 성능을 보였다.

ABSTRACT

We propose an automated algorithm to stress-test a trained visual model by generating language-guided counterfactual test images (LANCE). Our method leverages recent progress in large language modeling and text-based image editing to augment an IID test set with a suite of diverse, realistic, and challenging test images without altering model weights. We benchmark the performance of a diverse set of pre-trained models on our generated data and observe significant and consistent performance drops. We further analyze model sensitivity across different types of edits, and demonstrate its applicability at surfacing previously unknown class-level model biases in ImageNet. Code is available at https://github.com/virajprabhu/lance.

연구 동기 및 목표

• IID 테스트 세트에서 정확도와 같은 정적이고 집계된 지표의 한계를 해결하기 위해, 특정 시각적 변형에 대한 모델 취약성을 탐지하지 못하는 문제를 해결한다.
• 기존의 정적 OOD 벤치마크의 한계를 극복하기 위해, 실제 세계의 내구성을 탐사하는 동적이고 모델별 테스트 세트를 생성한다.
• 시각적 속성에 대한 언어 유도 간섭을 통해 현실적이고 다양한 역설적 이미지를 자동 생성함으로써 모델 편향의 탐지를 자동화한다.
• 재학습 없이도 다양한 유형의 시각적 편집에 대한 모델 민감도를 평가할 수 있는 확장 가능하고 침습적이지 않은 방법을 제공한다.
• 기존의 표준 평가로는 탐지할 수 없는, ImageNet 내에서 알려지지 않은 클래스 수준의 편향을 드러내기 위해 일관된 간섭 조건을 고립한다.

제안 방법

• 입력 이미지와 그 참값 레이블에 대해 자연어로 된 기술을 생성하기 위해 이미지 캡션 모델을 사용한다.
• 대규모 언어 모델(LLM)를 미세조정하여 단일 시각적 속성(예: 주체, 객체, 형용사, 도메인, 배경)을 현실적이고 의미적으로 일관된 방식으로 변형시키되, 참값 카테고리는 유지한다.
• 원본 이미지와 편집된 캡션을 조건으로 하여 null-text inversion과 프롬프트 유도 편집 기법을 적용한 텍스트-이미지 확산 모델을 사용해 역설적 이미지를 생성한다.
• 레이블 일관성 검증과 품질 필터링을 포함한 자동화된 점검 및 균형 조절을 통해 이미지의 현실성과 편집 정확도를 확보한다.
• 원본 이미지와 생성된 역설적 이미지에서의 모델 성능을 평가하여 평균 정확도 저하율을 민감도 측정 지표로 삼는다.
• 생성된 이미지의 품질과 안전성을 검증하기 위해 인간 평가를 실시하여 현실성, 편집 성공률, 정밀도, 레이블 일관성, 윤리적 우려 사항을 평가한다.

Figure 1 : The predominant paradigm in computer vision is to benchmark trained models on IID test sets using aggregate metrics such as accuracy, which does not adequately vet models for deployment, e.g. for the test image above, while a trained ResNet-50 model [ 1 ] accurately predicts the ground tr

실험 결과

연구 질문

• RQ1 LANCE는 시각 모델을 스트레스 테스트하는 데 있어 현실적이고 다양한 역설적 이미지를 얼마나 효과적으로 생성하는가?
• RQ2 사전학습된 시각 모델이 언어 유도 역설적 편집에 노출되었을 때 성능 저하가 어느 정도 발생하는가?
• RQ3 객체, 색상, 배경 등의 시각적 변형 중 어떤 것이 모델 성능에 가장 크게 영향을 미치는가?
• RQ4 LANCE는 기존 표준 평가로는 탐지할 수 없는, ImageNet 내에서 알려지지 않은 클래스 수준의 편향을 드러낼 수 있는가?
• RQ5 기존 기준 방법과 비교했을 때 생성된 역설적 이미지의 현실성과 편집 품질은 어떠한가?

주요 결과

• LANCE가 생성한 역설적 이미지는 인간 평가에서 평균 4.2점(5점 만점)의 현실성 점수를 기록하여 높은 시각적 품질을 입증하였다.
• 편집 성공률은 평균 3.7점(5점 만점)을 기록했으며, 배경 편집에서 가장 낮은 성능을 보였는데, 이는 잘못된 영역을 대상으로 삼은 탓이었다.
• 이미지 정밀도는 평균 4.5점(5점 만점)으로 매우 높았으며, 변화가 관련성 있고 잘 국소화되어 있음을 시사했다.
• 레이블 일관성은 95%의 경우 유지되어 생성된 이미지가 원래 레이블에 대해 타당하게 유지됨을 확인하였다.
• 생성된 이미지 중 2%만이 윤리적 우려를 불러일으켰으며, 주로 텍스트-이미지 생성 과정에서의 스테레오타입이나 편향된 표현 때문이었다.
• 다양한 모델에서 일관되게 뚜렷한 성능 저하가 나타났으며, 특히 특정 속성에 대한 편집에서 이전에 탐지되지 않은 클래스 수준의 편향이 드러났다.

Figure 2 : Overview. We propose a method to generate challenging counterfactual examples to stress-test a given visual model. Given a trained model and test set, LANCE generates a textual description (from a captioning model) and perturbed caption (using a large language model (LLM)), which is fed a