[논문 리뷰] Distilling Model Failures as Directions in Latent Space

Saachi Jain, Hannah R. Lawrence외 2명|arXiv (Cornell University)|2022. 06. 29.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

이 논문은 정규화된 임bedding에 대한 선형 분류기를 사용하여 잠재 특징 공간에서 모델 실패 모드를 해석 가능한 방향으로 자동으로 탐지하고 표현하는 확장 가능한 방법을 제안한다. 일관된 오류 패턴을 식별함으로써 프레임워크는 인간이 읽을 수 있는 설명을 제공하는 자동 하위집단 탐지, 실패 모드의 설명 자동화, 그리고 확산 모델을 통한 표적화된 합성 데이터 증강을 가능하게 하여 인간 간섭 없이 모델의 견고성을 향상시킨다.

ABSTRACT

Existing methods for isolating hard subpopulations and spurious correlations in datasets often require human intervention. This can make these methods labor-intensive and dataset-specific. To address these shortcomings, we present a scalable method for automatically distilling a model's failure modes. Specifically, we harness linear classifiers to identify consistent error patterns, and, in turn, induce a natural representation of these failure modes as directions within the feature space. We demonstrate that this framework allows us to discover and automatically caption challenging subpopulations within the training dataset. Moreover, by combining our framework with off-the-shelf diffusion models, we can generate images that are especially challenging for the analyzed model, and thus can be used to perform synthetic data augmentation that helps remedy the model's failure modes. Code available at https://github.com/MadryLab/failure-directions

연구 동기 및 목표

• 인간 간섭 없이 데이터셋 내에서 어려운 하위집단과 허위 상관관계를 확장 가능한 자동화된 방법으로 탐지할 수 있는 부족함을 보완한다.
• 개별 입력에 집중하는 기존의 해석 가능성 방법의 한계를 극복하여 전반적이고 일관된 실패 패tern에 초점을 맞춘다.
• 모델 아키텍처와 데이터셋에 관계없이 일반화되는 자동화되고 해석 가능한 실패 모드 식별을 가능하게 한다.
• 식별된 실패 방향에 맞춰 조정된 합성 데이터 증강을 통해 실질적인 모델 개선을 지원한다.
• 이질적 편향과 분포 이탈을 드러내는 프레임워크를 제공하여 ImageNet 및 ChestX-ray14와 같은 대규모 데이터셋에서의 숨겨진 문제를 밝혀낸다.

제안 방법

• 사전 훈련된 모델의 정규화된 특징 임베딩에 선형 분류기(SVM)를 훈련하여 일관된 예측 오류를 탐지한다.
• 각 SVM의 결정 경계를 사용해 특정 오류 패턴을 나타내는 잠재 공간 내 '실패 방향'을 정의한다.
• 각 데이터 포인트의 실패 방향에 대한 정렬도를 측정하여 해당 실패 모드와의 관련성을 정량화한다.
• 사전 구축된 확산 모델을 사용해 실패 방향에 대응하는 합성 이미지를 생성하여 훈련 데이터를 증강한다.
• 수동 레이블링 없이 다양한 데이터셋(CIFAR-10, ImageNet, ChestX-ray14)에 프레임워크를 적용하여 실패 모드를 탐지한다.
• CLIP를 통한 캡션 생성을 통해 각 실패 방향에 대해 인간이 이해할 수 있는 설명을 자동으로 할당한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델의 실패 모드는 잠재 공간 내 해석 가능한 방향으로 자동으로 탐지하고 표현할 수 있는가?
• RQ2 이 방법으로 식별된 실패 방향은 동일한 데이터로 훈련된 다른 모델 아키텍처 간에 일반화되는가?
• RQ3 수동 레이블링이나 데이터 탐색 없이도 의미 있는 인간이 이해할 수 있는 하위집단을 프레임워크가 탐지할 수 있는가?
• RQ4 실패 방향 기반의 합성 데이터 증강이 어려운 하위집단에서 모델의 견고성을 얼마나 향상시킬 수 있는가?
• RQ5 실패 방향이 의료 영상에서 알려진 데이터 아티팩트(예: 영상 촬영 방향(AP 대비 PA))와 얼마나 잘 상관되는가?

주요 결과

• ResNet18에서 추출한 실패 방향은 ResNet50 및 ViT-B와 같은 다른 아키텍처로도 일반화되며, 유사한 하위집단 정확도 패턴을 보인다.
• ImageNet에서 이 방법은 높은 일관성으로 실패 모드를 성공적으로 식별하였으며, 모델별 SVM 캡션과 유사한 하위집단 정확도 차이를 달성했다.
• ChestX-ray14에서 프레임워크는 AP 영상이 특히 축적과 침윤과 같은 상태에서 '건강'으로 체계적으로 잘못 분류됨을 발견했다.
• Mass 상태의 경우, '비건강' 클래스에 대해 AP 영상이 더 어려운 것으로 밝혀져 이전에 알려지지 않은 편향을 드러냈다.
• 실패 모드 전용 합성 데이터를 생성하기 위해 확산 모델을 사용함으로써 하위집단에서의 모델 성능 향상이 이루어졌으며, 효과적인 데이터 증강이 가능함을 입증했다.
• CLIP를 통해 자동 생성된 실패 방향 캡션은 의미적으로 유의미하며 영상 촬영 방향이나 해부학적 아티팩트와 같은 시각 패턴과 일치한다.