[논문 리뷰] Shortcut Learning of Large Language Models in Natural Language Understanding

Mengnan Du, Fengxiang He외 3명|arXiv (Cornell University)|2022. 08. 25.

Natural Language Processing Techniques인용 수 23

한 줄 요약

이 논문은 대규모 언어 모델이 지름길 비강건 특징과 인공물에 의존하는 방식을 검토하고, 탐지와 기원을 분석하며, 강건성과 OOD 일반화를 향상시키기 위한 데이터- 및 모델 중심 완화 전략을 조사한다.

ABSTRACT

Large language models (LLMs) have achieved state-of-the-art performance on a series of natural language understanding tasks. However, these LLMs might rely on dataset bias and artifacts as shortcuts for prediction. This has significantly affected their generalizability and adversarial robustness. In this paper, we provide a review of recent developments that address the shortcut learning and robustness challenge of LLMs. We first introduce the concepts of shortcut learning of language models. We then introduce methods to identify shortcut learning behavior in language models, characterize the reasons for shortcut learning, as well as introduce mitigation solutions. Finally, we discuss key research challenges and potential research directions in order to advance the field of LLMs.

연구 동기 및 목표

• 지름길 학습을 NLU 태스크에 대한 LLM 맥락에서 정의한다.
• 지름길 학습과 강건성 이슈를 식별하기 위한 탐지 방법을 조사한다.
• 데이터, 모델, 학습 동역학 전반의 근본 원인을 특징화한다.
• 데이터 정제와 모델 중심 접근법을 아우르는 완화 전략을 요약한다.
• 일반화 및 강건성을 향상시키기 위한 향후 연구 방향을 논의한다.

제안 방법

• 지름길 학습 현상을 설명하고 특징을 무의미한/강건한/비강건한으로 분류한다.
• 포괄적 성능 테스트, 적대적 공격, 무작위화 제거실험, 설명 가능성 분석 등 탐지 기법을 요약한다.
• 편향된 데이터셋, 모델 사전학습, 미세 조정 과정을 원인으로 개요한다.
• 데이터 중심 및 모델 중심 접근법으로 구성된 완화 전략을 검토한다. 데이터 정제, 재가중치 부여, 환경 구분, 적대적 학습, 설명 규제, PoE, 신뢰도 규제, 대조 학습 등을 포함한다.

실험 결과

연구 질문

• RQ1 NLU를 위한 LLM에서의 지름길 학습이 무엇이며 이를 구동하는 비강건 특징은 무엇인가?
• RQ2 실제로 지름길 학습을 어떻게 탐지하고 진단할 수 있는가?
• RQ3 데이터, 모델, 학습에서 지름길 학습으로 이어지는 근본 원인은 무엇인가?
• RQ4 IID 성능을 해치지 않으면서 OOD 일반화 및 강건성을 개선할 수 있는 완화 전략은 무엇인가?
• RQ5 LLM에서 지름길 의존도를 줄이기 위한 향후 연구 방향은 무엇이 유망한가?

주요 결과

• 지름길 학습은 LLM이 강건한 의미 이해보다는 어휘 편향, 중복성, 위치, 스타일 편향에 의존하게 만든다.
• OOD 일반화 및 적대적 강건성은 지름길 학습으로 인해 상당히 감소하며 IID 성능이 강한 경우에도 영향받는다.
• 탐지 방법은 OOD 벤치마크에서의 성능 하락과 적대적 테스트에서의 큰 하락을 드러내며, 학습 중에 학습된 잘못된 상관관계를 부각시킨다.
• 데이터 중심과 모델 중심 범주에서 완화 접근법이 존재하지만 종종 이익이 제한적이고 IID 성능과의 트레이드오프를 수반한다.
• 더 깊은 이론적 이해와 도메인 지식의 통합, 더 나은 사전학습 목표, 도전적인 평가 데이터의 필요성이 강건성을 진보시키는 데 필요하다.