[논문 리뷰] A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension

Xanh Ho, Johannes Mario Meissner외 2명|arXiv (Cornell University)|2022. 09. 05.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 종합 검토는 기계 독해 이해(MRC)에서 추론 단서를 측정하고 완화하는 데 있어 기존 기법들을 종합적으로 분석하며, 모델이 진정한 추론을 회피하도록 만드는 통계적 상관관계에 초점을 맞춘다. 연구에서는 공개 도전 세트 부족과 다른 NLP 분야에서 활용 가능한 완화 기법의 미사용이라는 핵심적 격차를 지적하고, MRC에서 더 강력하고 일반화 가능한 평가 및 개선된 디비어싱 전략을 촉구한다.

ABSTRACT

The issue of shortcut learning is widely known in NLP and has been an important research focus in recent years. Unintended correlations in the data enable models to easily solve tasks that were meant to exhibit advanced language understanding and reasoning capabilities. In this survey paper, we focus on the field of machine reading comprehension (MRC), an important task for showcasing high-level language understanding that also suffers from a range of shortcuts. We summarize the available techniques for measuring and mitigating shortcuts and conclude with suggestions for further progress in shortcut research. Importantly, we highlight two concerns for shortcut mitigation in MRC: (1) the lack of public challenge sets, a necessary component for effective and reusable evaluation, and (2) the lack of certain mitigation techniques that are prominent in other areas.

연구 동기 및 목표

• 기존의 MRC 데이터셋에서 추론 단서를 탐지하고 측정하는 데 사용되는 방법들을 체계적으로 조사하는 것.
• 현재의 완화 기법을 분석하고 다양한 MRC 벤치마크에서의 효과성을 평가하는 것.
• 단서 연구의 핵심적 한계, 특히 공개 도전 세트 부족과 미사용된 완화 전략을 부각하는 것.
• 더 넓은 MRC 데이터셋에서의 평가 및 개선된 적대적 예제 품질을 포함한 향후 연구 방향을 제안하는 것.
• 컴퓨터 비전 및 NLI 분야에서 입증된 완화 기법을 MRC에 통합하여 모델의 강건성을 향상시키기 위한 촉구.

제안 방법

• 적대적 예제 생성, 주의 분석, 패턴 탐색 등의 접근 방식에 기반해 기존의 추론 단서 측정 기법을 분류하고 분류하는 것.
• 적대적 훈련, 데이터 증강, 프롬프트 엔지니어링(예: 체인 오브 써포트 프롬프팅)과 같은 완화 전략을 조사하는 것.
• 적대적 SQuAD 및 기타 도전 세트에서 모델의 성능을 평가하여 단서 이용에 대한 강건성을 점검하는 것.
• 적대적 예제의 타당성과 자연스러움을 분석하여 모델의 실패가 실제 강건성 문제인지, 또는 데이터 오류인지 확인하는 것.
• 기존의 MRC 데이터셋을 기반으로 공동체 수준의 도전 세트를 설계하기 위한 프레임워크를 제안하는 것.
• 다중 힙, 대화형, 스펜 추출 등의 다양한 MRC 작업 간에 완화 기법을 비교하여 이식 가능한 방법을 식별하는 것.

실험 결과

연구 질문

• RQ1 MRC 데이터셋에 존재하는 주요 유형의 추론 단서는 무엇이며, 기존 측정 기법을 통해 어떻게 탐지할 수 있는가?
• RQ2 현재의 완화 기법은 다양한 MRC 벤치마크에서 단서 의존도를 줄이는 데 얼마나 효과적인가?
• RQ3 공개 도전 세트 부족이 왜 MRC에서 단서 완화 기법 평가 및 비교의 주요 장애물이 되는가?
• RQ4 기타 NLP나 비전 분야의 어떤 완화 기법이 MRC에서 강건성을 향상시키기 위해 적응시킬 수 있으며, 왜 이러한 기법들은 미사용되고 있는가?
• RQ5 MRC에서 사용되는 적대적 예제는 의미적 의미를 유지하고 자연어 품질을 보존하는가? 이는 모델 평가에 어떤 영향을 미치는가?

주요 결과

• SQuAD와 같은 벤치마크에서 높은 성능을 내는 많은 MRC 모델들은 추론을 통해가 아니라, 단어 매칭이나 질문 시작 단어 신호와 같은 얕은 통계적 패턴을 악용함으로써 성능을 높인다.
• 적대적 SQuAD는 여전히 단서 완화 평가에 가장 널리 사용되는 도전 세트이지만, 그 우세성은 다른 MRC 데이터셋에 대한 폭넓은 평가를 제한한다.
• MRC에서 발견된 많은 적대적 예제는 자연스럽지 않거나 의미적으로 열악한 품질을 지닌 것으로 밝혀져, 모델의 실패가 진정한 강건성 문제인지 평가 데이터의 결함 때문인지에 대한 우려를 제기한다.
• 체인 오브 써포트 프롬프팅은 추론 능력을 향상시키는 데 유망한 것으로 나타났지만, 다중 힙 MRC에서 추론 단서를 완화하는 데의 효과는 입증되지 않았으며 향후 추가 연구가 필요하다.
• 현재의 완화 기법은 주로 SQuAD에 국한되어 있으며 다른 MRC 작업으로의 일반화가 부족하여, 더 이식 가능하고 스케일 수 있는 방법의 필요성을 시사한다.
• 비-SQuAD MRC 데이터셋을 위한 표준화되고 공개된 도전 세트가 연구 공동체에 부족하여 재현 가능한 진전과 방법 비교를 저해하고 있다.