[논문 리뷰] Nuisances via Negativa: Adjusting for Spurious Correlations via Data Augmentation

Aahlad Puli, Nitish Joshi외 3명|arXiv (Cornell University)|2022. 10. 04.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 명시적인 혼란 변수(annotation)가 필요 없이 기계 학습 모델에서 허위 상관관계를 식별하고 완화하기 위해 데이터 증강을 통한 의미적 손상(corruption)을 제안한다. 전역, 국소, 주파수 기반 의미적 특징을 손상시킴으로써(예: 패치 무작위화 또는 강도 필터링을 통해), 허위 상관관계를 피하는 방법(NURD, JTT 등)이 분포 이탈에 더 잘 일반화되는 강건한 모델을 학습할 수 있게 한다. 이는 알려진 혼란 변수를 사용하는 방법과 유사한 성능을 달성하며, 표준 ERM 및 순수한 JTT를 능가한다.

ABSTRACT

In prediction tasks, there exist features that are related to the label in the same way across different settings for that task; these are semantic features or semantics. Features with varying relationships to the label are nuisances. For example, in detecting cows from natural images, the shape of the head is semantic but because images of cows often have grass backgrounds but not always, the background is a nuisance. Models that exploit nuisance-label relationships face performance degradation when these relationships change. Building models robust to such changes requires additional knowledge beyond samples of the features and labels. For example, existing work uses annotations of nuisances or assumes ERM-trained models depend on nuisances. Approaches to integrate new kinds of additional knowledge enlarge the settings where robust models can be built. We develop an approach to use knowledge about the semantics by corrupting them in data, and then using the corrupted data to produce models which identify correlations between nuisances and the label. Once these correlations are identified, they can be used to adjust for where nuisances drive predictions. We study semantic corruptions in powering different spurious-correlation avoiding methods on multiple out-of-distribution (OOD) tasks like classifying waterbirds, natural language inference (NLI), and detecting cardiomegaly in chest X-rays.

연구 동기 및 목표

• 데이터 분포가 변화함에 따라 발생하는 모델 성능 저하 문제를 해결하기 위해.
• ERM 학습 모델에 대한 강력한 가정이나 명시적인 혼란 변수 annotation이 필요 없는 강건한 모델을 구축하기 위한 방법을 개발하기 위해.
• 데이터 증강을 통해 의미 지식을 활용하여 혼란 변수 의존성을 드러내는 편향된 모델을 만들기 위해.
• 의미적 손상이 기존의 허위 상관관계 회피 방법(SCAMs)을 효과적으로 강화할 수 있음을 보여주기 위해.
• 이러한 손상 기반 접근 방식이 알려진 혼란 변수에 의존하는 방법과 동등하거나 이를 초월하는 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 전역 의미(예: 이미지에서의 패치 무작위화)나 NLI에서의 n-gram 무작위화를 통해 의미적 특징을 선택적으로 손상시키면서도 혼란 변수 특징는 유지하는 의미적 손상을 설계하기 위해.
• 객체 인식에서의 영역 중심 마스킹(ROI-mask)과 NLI에서의 전제 마스킹(prem-mask)을 사용하여 위치 기반 의미를 손상시키기 위해.
• 저주파수 및 고강도 의미적 특징을 대상으로 하는 주파수 필터링(freq-filter)과 강도 필터링(int-filter)을 적용하기 위해(예: 흉부 X-ray 심장비대 검출에서).
• 손상된 입력에서 레이블을 예측하는 편향된 모델을 훈련시켜 혼란 변수가 예측에 기여하는 위치를 식별하기 위해.
• 이러한 편향된 모델을 NURD, DFL, POE, JTT와 같은 SCAMs에 통합하여 분포 이탈에 대한 강건성을 향상시키기 위해.
• 결과로 도출된 모델을 활용해 손상된 데이터로부터 학습함으로써 허위 상관관계에 의존하지 않는 예측 모델을 훈련시키기 위해.

실험 결과

연구 질문

• RQ1 의미적 특징을 손상시키는 데이터 증강 기법이 명시적인 혼란 변수 annotation 없이 혼란 변수를 식별하고 조정하는 데 사용될 수 있는가?
• RQ2 의미적 손상이 SCAMs가 알려진 혼란 변수를 사용하는 방법과 유사한 강건성을 달성하는 데 얼마나 효과적인가?
• RQ3 의미적 손상 기반 접근 방식이 waterbirds, NLI, 흉부 X-ray 심장비대 검출과 같은 OOD 벤치마크에서 일반화 성능을 향상시키는가?
• RQ4 전역, 국소, 주파수, 강도 등의 다양한 유형의 의미적 손상이 의미를 파괴하면서도 혼란 변수 정보를 얼마나 잘 유지하는가?
• RQ5 의미적 손상이 ERM 모델이 혼란 변수에 의존한다는 가정에 의존하는 JTT의 성능을 향상시킬 수 있는가?

주요 결과

• 패치 랜덤화(patch-rand) 및 ngram 랜덤화(ngram-rand)와 같은 의미적 손상은 혼란 변수 의존성을 성공적으로 식별하여, SCAMs가 알려진 혼란 변수를 사용하는 방법과 유사한 성능을 달성할 수 있게 한다.
• NURD 및 DFL에 의미적 손상을 적용한 결과, OOD 벤치마크에서 명시적인 혼란 변수 annotation이 있는 동일한 방법과 비교해 1–2% 이내의 성능 차이를 보였다.
• 의미적 손상을 통합한 JTT는 순수한 JTT를 능가하며, ERM 모델이 혼란 변수에 의존한다는 검증 불가능한 가정에 의존하지 않고도 강건성을 향상시켰다.
• waterbirds 및 NLI 작업에서 의미적 손상을 사용한 모델은 ERM와 혼란 변수가 알려진 방법 사이의 성능 격차의 80% 이상를 메웠다.
• 패치 랜덤화에서 전역 혼란 변수가 일부 손상될 수 있음에도 불구하고 전체적으로 강건한 일반화 성능 유지를 유지함으로써, 부정확한 손상에도 불구하고 강건함을 입증했다.
• 이 방법은 이미지 분류, NLI, 의료 영상 등 시각 및 NLP 작업 전반에 걸쳐 일반화 가능하며 광범위한 적용 가능성을 보였다.