[논문 리뷰] Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond

Zhuosheng Zhang, Hai Zhao외 1명|arXiv (Cornell University)|2020. 05. 13.

Topic Modeling참고 문헌 210인용 수 48

한 줄 요약

본 조사는 컨텍스추얼라이즈드 언어 모델(CLMs)이 기계 독해(MRC)를 어떻게 변화시켰는지 분석하고, MRC 데이터셋과 아키텍처를 검토하며, 향후 방향과 남아 있는 도전 과제에 대해 논의한다.

ABSTRACT

Machine reading comprehension (MRC) aims to teach machines to read and comprehend human languages, which is a long-standing goal of natural language processing (NLP). With the burst of deep neural networks and the evolution of contextualized language models (CLMs), the research of MRC has experienced two significant breakthroughs. MRC and CLM, as a phenomenon, have a great impact on the NLP community. In this survey, we provide a comprehensive and comparative review on MRC covering overall research topics about 1) the origin and development of MRC and CLM, with a particular focus on the role of CLMs; 2) the impact of MRC and CLM to the NLP community; 3) the definition, datasets, and evaluation of MRC; 4) general MRC architecture and technical methods in the view of two-stage Encoder-Decoder solving architecture from the insights of the cognitive process of humans; 5) previous highlights, emerging topics, and our empirical analysis, among which we especially focus on what works in different periods of MRC researches. We propose a full-view categorization and new taxonomies on these topics. The primary views we have arrived at are that 1) MRC boosts the progress from language processing to understanding; 2) the rapid improvement of MRC systems greatly benefits from the development of CLMs; 3) the theme of MRC is gradually moving from shallow text matching to cognitive reasoning.

연구 동기 및 목표

• MRC의 기원과 발전 및 CLMs의 핵심 역할을 설명한다.
• CLMs가 MRC 성능과 NLP 커뮤니티에 미치는 영향을 조사한다.
• MRC의 범위, 데이터셋, 평가, 그리고 일반적인 아키텍처를 정의한다.
• 인지 과정에서 영감을 받은 두 단계 인코더-디코더 관점의 MRC를 제안한다.
• MRC에서 떠오르는 주제, 도전과제, 그리고 향후 기회를 강조한다.

제안 방법

• MRC 주제와 CLM 상호작용의 전면적 분류체계를 제공한다.
• CLM 계열과 그 훈련 목표(MLM, PLM, AE) 및 아키텍처(RNN, Transformer, Transformer-XL)를 비교한다.
• MRC 형성이 전통적 NLP 작업을 QA 유사 형식이나 스팬 기반 형식으로 어떻게 변환하는지 분석한다.
• 대표적인 MRC 데이터셋과 리더보드에서의 실증적 발견과 경향을 논의한다.
• 해석가능성, 추론, 그리고 자원 효율적 모델 설계에 대한 통찰을 제시한다.

실험 결과

연구 질문

• RQ1 CLMs가 시간에 따라 MRC의 성능과 능력에 어떤 영향을 미쳤는가?
• RQ2 어떤 아키텍처 및 훈련 목표 선택이 MRC의 향상을 이끄는지, 그리고 그것들이 인지에 영감을 받은 해결 전략과 어떻게 연결되는가?
• RQ3 전통적 NLP 작업이 어떤 방식으로 MRC로 재구성될 수 있으며, 이는 NLP 연구에 어떤 시사점을 주는가?
• RQ4 현재의 QA 중심 벤치마크를 넘어 MRC를 발전시키기 위한 떠오르는 주제와 향후 기회는 무엇인가?

주요 결과

• MRC의 발전은 CLMs의 개발과 밀접하게 연결되어 있어 문장 수준 표현을 더 풍부하게 만든다.
• 인지 과정에 의해 알려진 두 단계 인코더-디코더 관점은 MRC 아키텍처와 방법을 분류하는 데 도움이 된다.
• CLMs는 MRC 벤치마크에서 빠른 성능 향상을 가져왔으나, 진정한 이해와 패턴 매칭 간의 문제를 제기한다.
• MRC는 언어 표현과 다른 NLP 작업으로의 다중 작업 전이의 귀중한 테스트베드 역할을 한다.
• 향후 방향에는 해석 가능한 데이터셋, 복잡한 추론, 저자원 MRC, 다중모달 바인딩이 포함된다.