[논문 리뷰] Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches

Shane Storks, Qiaozi Gao외 1명|arXiv (Cornell University)|2019. 04. 01.

Topic Modeling인용 수 126

한 줄 요약

이 논문은 자연어 추론(NLI)에 대한 최근 벤치마크, 지식 자원, 학습 접근법을 조사하며, 분야의 경향, 한계 및 기회를 강조한다.

ABSTRACT

In the NLP community, recent years have seen a surge of research activities that address machines' ability to perform deep language understanding which goes beyond what is explicitly stated in text, rather relying on reasoning and knowledge of the world. Many benchmark tasks and datasets have been created to support the development and evaluation of such natural language inference ability. As these benchmarks become instrumental and a driving force for the NLP research community, this paper aims to provide an overview of recent benchmarks, relevant knowledge resources, and state-of-the-art learning and inference approaches in order to support a better understanding of this growing field.

연구 동기 및 목표

• NLI 진행 상황을 평가하는 벤치마크와 작업에 대한 개요를 제공한다.
• NLI 이해를 지원하는 가용한 지식 자원을 요약한다.
• NLI에 대한 학습 및 추론 접근법과 그 성능 및 한계를 조사한다.
• 데이터 편향 및 설명가능성 등의 현재 도전과제와 향후 기회를 식별한다.

제안 방법

• 작업 유형(참조 해상도, 질문 응답, 텍스트 포함 여부 등)에 따라 벤치마크 데이터셋을 분류하고 설명한다.
• 언어학적 지식, 일반 지식, 상식 지식 등 지식 자원 유형과 NLI에서의 역할을 특징지킨다.
• 상징적 방법에서 심층 신경망에 이르는 학습 및 추론 접근법과 그 트레이드오프를 요약한다.
• 벤치마크 설계 고려사항, 데이터 수집 방법 및 편향 완화 전략을 분석한다.
• NLI 연구의 한계, 재현성 및 향후 방향을 논의한다.

실험 결과

연구 질문

• RQ1 NLI 연구를 주도하는 주요 벤치마크 데이터셋과 작업 형식은 무엇인가?
• RQ2 NLI를 지원하기 위해 어떤 유형의 지식 자원이 사용되며 어떻게 구성되어 있는가?
• RQ3 현재 NLI 연구를 지배하는 학습 및 추론 접근법은 무엇이며 그 강점과 한계는 무엇인가?
• RQ4 현재의 도전과제(예: 편향, 설명가능성)와 NLI에서의 향후 작업 기회는 무엇인가?

주요 결과

• 벤치마크는 참조 해상도, QA, 텍스트 포함 여부, 다중 작업 설정에 걸쳐 있으며 시간이 지남에 따라 더 큰 데이터 세트로의 경향이 있다.
• 지식 자원은 추론을 지원하기 위해 언어학적, 일반 및 상식 지식으로 분류된다.
• 신경망 및 하이브리드 접근법은 강한 성능을 달성했지만 설명가능성 및 데이터 세트 편향에 대한 우려를 제기한다.
• 외부 지식, 추론 및 다문장 이해에 초점을 맞춘 벤치마크의 폭넓은 범주가 더 깊은 NLI 능력으로의 이동을 시사한다.
• 이 연구는 벤치마크 설계 고려사항 및 데이터 편향 완화를 포함한 한계와 향후 기회를 논의한다.