[논문 리뷰] Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU Models

Mengnan Du, Varun Manjunatha외 6명|arXiv (Cornell University)|2021. 03. 11.

Topic Modeling참고 문헌 53인용 수 11

한 줄 요약

이 논문은 훈련 데이터 특징을 장꼬리 분포로 모델링하고, 지식 distillation 기반 정규화를 사용하여 고도의 단서도를 가진 샘플에서 과신한 예측을 억제함으로써 NLU 모델의 단서 학습을 완화하는 새로운 프레임워크 LTGR를 제안한다. 실험 결과, LTGR는 세 가지 NLU 벤치마크에서 내분포 정확도를 훼손하지 않으면서 외분포 일반화 성능을 향상시킨다.

ABSTRACT

Recent studies indicate that NLU models are prone to rely on shortcut features for prediction, without achieving true language understanding. As a result, these models fail to generalize to real-world out-of-distribution data. In this work, we show that the words in the NLU training set can be modeled as a long-tailed distribution. There are two findings: 1) NLU models have strong preference for features located at the head of the long-tailed distribution, and 2) Shortcut features are picked up during very early few iterations of the model training. These two observations are further employed to formulate a measurement which can quantify the shortcut degree of each training sample. Based on this shortcut measurement, we propose a shortcut mitigation framework LTGR, to suppress the model from making overconfident predictions for samples with large shortcut degree. Experimental results on three NLU benchmarks demonstrate that our long-tailed distribution explanation accurately reflects the shortcut learning behavior of NLU models. Experimental analysis further indicates that LTGR can improve the generalization accuracy on OOD data, while preserving the accuracy on in-distribution data.

연구 동기 및 목표

• NLU 모델이 의미적 이해 대신 단서 특징에 의존하는 이유를 설명하는 것.
• 단서 특징이 훈련의 초반에 학습되며, 장꼬리 특징 분포의 머리부분에 집중되어 있음을 규명하는 것.
• 장꼬리 통계 기반으로 각 훈련 샘플의 단서 정도를 정량적으로 측정하는 방법을 개발하는 것.
• 지식 distillation 기반 정규화를 통해 고단서도 샘플에서의 모델 과신을 감소시키는 프레임워크 LTGR를 제안하는 것.
• 내분포 성능을 유지하면서 외분포 데이터에 대한 모델의 강건성을 향상시키는 것.

제안 방법

• 국소 상호정보를 사용하여 모델 훈련 세트의 특징을 분석하여 어휘 특징의 장꼬리 분포를 구성한다.
• NLU 모델이 장꼬리 분포의 머리부분에 해당하는 특징을 선호함을 규명하며, 이는 일반화 불가능한 단서에 해당한다.
• 모델의 주의 분포를 데이터 세트 수준의 특징 통계와 비교하여 각 훈련 샘플의 단서 정도 지표를 정의한다.
• 고단서도 샘플에서의 과신 예측을 억제하기 위한 지식 distillation 기반 정규화인 LTGR를 제안한다.
• 고단서도 샘플에 대해 부드러운 레이블 분포(예: 균일 또는 클래스 밸런스)를 태도 신호로 사용하여 과신을 억제한다.
• 하이퍼파라미터 α로 제어되는 교차 엔트로피 손실과 distillation 손실을 조합한 가중 손실을 통해 정규화를 표준 훈련에 통합한다.

실험 결과

연구 질문

• RQ1 NLU 훈련 데이터의 어휘 특징 장꼬리 분포가 단서 학습 행동을 정확히 설명할 수 있는가?
• RQ2 NLU 모델이 주로 단서 특징을 학습하는 훈련 단계는 언제인가?
• RQ3 데이터 세트 통계와 모델 행동에서 정량적 단서 정도 지표를 유도할 수 있는가?
• RQ4 고단서도 샘플에서의 과신 억제가 외분포 데이터에서의 일반화 성능 향상에 기여하는가?
• RQ5 제안된 방법이 단서 기반 트로이 악성코드 공격을 완화할 수 있는가?

주요 결과

• NLU 훈련 데이터의 어휘 특징 장꼬리 분포가 모델이 단서 특징을 의미적 이해보다 선호하는 이유를 정확히 설명한다.
• NLU 모델은 훈련의 첫 몇 반복 동안 단서 특징을 학습함으로써 고빈도이자 일반화 불가능한 패턴에 대한 조기이고 강한 편향을 보인다.
• 제안된 단서 정도 지표는 각 훈련 샘플이 얼마나 부정확한 어휘 신호에 의존하는지 효과적으로 정량화한다.
• LTGR는 외분포 벤치마크(예: MNLI 하드 검증 세트)에서 내분포 성능을 떨어뜨리지 않으면서 정확도를 최대 5.2% 향상시킨다.
• 하이퍼파라미터 분석 결과, 중간 정도의 정규화(α ≈ 0.5)가 외분포 일반화와 내분포 정확도 사이의 균형을 최적화하며 과도한 페널티를 방지함을 확인했다.
• 초기 실험 결과, LTGR는 백도어 트리거 패턴에 대한 모델 의존도를 감소시켜 단서 기반 트로이 악성코드 공격을 부분적으로 완화할 수 있음을 시사한다.