[논문 리뷰] Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective

Shihan Dou, Rui Zheng외 6명|arXiv (Cornell University)|2022. 02. 16.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 텍스트 상의 부작위 상관관계를 제거하기 위해 무작위 푸리에 특징(RFF)을 사용해 관련 없는 특징을 분리하고, 상호정보 기반 방법으로 결과 특징를 정제함으로써 임무에 관련된 표현 학습을 향상시키는 엔드 투 엔드 프레임워크 DePro를 제안한다. 이 방법은 NLU 작업에서 분포 외 일반화 성능에서 최신 기준(SOTA)을 달성하며, MNLI 및 FEVER 벤치마크에서 이전의 편향 제거 방법들을 능가한다.

ABSTRACT

Natural language understanding (NLU) models tend to rely on spurious correlations (i.e., dataset bias) to achieve high performance on in-distribution datasets but poor performance on out-of-distribution ones. Most of the existing debiasing methods often identify and weaken these samples with biased features (i.e., superficial surface features that cause such spurious correlations). However, down-weighting these samples obstructs the model in learning from the non-biased parts of these samples. To tackle this challenge, in this paper, we propose to eliminate spurious correlations in a fine-grained manner from a feature space perspective. Specifically, we introduce Random Fourier Features and weighted re-sampling to decorrelate the dependencies between features to mitigate spurious correlations. After obtaining decorrelated features, we further design a mutual-information-based method to purify them, which forces the model to learn features that are more relevant to tasks. Extensive experiments on two well-studied NLU tasks demonstrate that our method is superior to other comparative approaches.

연구 동기 및 목표

• 편향된 특징을 포함한 전체 샘플이 약화되는 기존 편향 제거 방법의 한계를 해결하여, 편향되지 않은 부분의 학습을 방해하지 않도록 하는 것.
• 표현 공간에서 관련 없는 특징과 관련 있는 특징 간의 종속성을 분리함으로써 특징 수준에서 부작위 상관관계를 완화하는 것.
• 장기적인 문장 표현을 가장 관련 있는 局부 특징과 일치시켜 정제함으로써, 분포 외(OOD) 데이터셋에서의 모델 일반화 능력을 향상시키는 것.
• 복잡하고 비가역적인 학습 절차가 일반적인 이전 접근법들과는 달리, 간단하고 계산 효율적인 엔드 투 엔드 프레임워크를 개발하는 것.

제안 방법

• 입력 특징를 고차원 공간으로 매핑하기 위해 무작위 푸리에 특징(RFF)을 사용하여 선형 및 비선형 특징 종속성 모두를 분리할 수 있도록 한다.
• RFF 변환된 공간에서 가중치가 부여된 재표본 추출을 적용하여 특징 간의 교차공분산을 감소시킴으로써 효과적으로 특징을 분리한다.
• 각 입력 샘플에서 유용한 국부적 특징(예: 예측에 관련된 토큰)을 식별하기 위해 시각화 지도 기반 방법을 도입한다.
• 상호정보 기반 전략을 활용하여 가장 관련 있는 국부적 특징과 일치시키도록 전역 문장 표현을 정제한다.
• 특징 분리와 정제를 하나의 엔드 투 엔드 학습 파이프라인에 통합하여 외부 편향 모델 없이 공동 최적화를 가능하게 한다.
• VAE 기반 방법 대신 RFF를 사용하여 특징 정보를 유지하고 압축에 의한 성능 손실을 방지한다.

실험 결과

연구 질문

• RQ1 고차원 공간에서 특징를 분리하는 것이 유용한 정보를 손상시키지 않으면서도 부작위 상관관계를 효과적으로 줄일 수 있는가?
• RQ2 상호정보 기반 정제를 통해 특징를 정제하면 OOD 데이터에서의 모델 일반화 능력이 어떻게 향상되는가?
• RQ3 특징 분리와 정제를 결합하면 개별 구성 요소보다 상호 보완적인 성능 향상 효과를 낼 수 있는가?
• RQ4 RFF 차원과 정제 비율과 같은 하이퍼파라미터가 모델의 부작위 상관관계 제거 능력에 어떻게 영향을 미치는가?
• RQ5 RFF 기반 분리는 NLU 모델의 일반화 능력을 유지하는 데 VAE 기반 방법보다 더 효과적인가?

주요 결과

• DePro는 분포 외 일반화 성능에서 최신 기준(SOTA)을 달성하여 MNLI 및 FEVER 벤치마크에서 기존 방법들을 능가한다.
• 특징 분리를 위한 RFF의 사용은 기준 방법보다 특징 간 교차공분산을 더 크게 감소시켜 종속성 제거의 효과성을 입증한다.
• 상호정보 기반 정제를 통해 모델이 임무에 관련된 특징에 집중하게 되어 관련 없는 구성 요소에서 오는 노이즈를 줄였다.
• RFF 기반 분리는 ID 및 OOD 설정 모두에서 β-VAE를 능가하여, 처리되지 않은 표현을 유지하는 것이 일반화 능력을 향상시킨다는 것을 확인한다.
• 제거 실험 결과, 분리와 정제 모두 최적 성능을 내기 위해 필요하며, 이 둘의 상호보완적 작용이 가장 좋은 성능을 낸다.
• 최적의 성능는 중간 수준의 RFF 차원과 정제 비율에서 달성되며, 이를 초과할 경우 계산 오버헤드 또는 정보 손실로 인해 성능이 떨어진다.