[논문 리뷰] Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension

Hongyu Gong, Yelong Shen외 3명|arXiv (Cornell University)|2020. 05. 16.

Topic Modeling참고 문헌 29인용 수 4

한 줄 요약

이 논문은 장문의 텍스트를 대상으로 한 기계적 독해(MRC)를 위한 순환 청크링 메커니즘(RCM)을 제안한다. 이는 모델이 장문의 문서를 동적으로 강화학습 기반으로 청크링하고, 순환 신경망을 통해 세그먼트 간에 문맥 정보를 전파할 수 있도록 한다. 이 방법은 CoQA, QuAC, TriviaQA에서 정답 구간 커버리지 향상과 성능 향상을 이끌어내며, 예측이 불완전해지는 것을 줄이고 세그먼트 간 추론 능력을 향상시킨다.

ABSTRACT

In this paper, we study machine reading comprehension (MRC) on long texts, where a model takes as inputs a lengthy document and a question and then extracts a text span from the document as an answer. State-of-the-art models tend to use a pretrained transformer model (e.g., BERT) to encode the joint contextual information of document and question. However, these transformer-based models can only take a fixed-length (e.g., 512) text as its input. To deal with even longer text inputs, previous approaches usually chunk them into equally-spaced segments and predict answers based on each segment independently without considering the information from other segments. As a result, they may form segments that fail to cover the correct answer span or retain insufficient contexts around it, which significantly degrades the performance. Moreover, they are less capable of answering questions that need cross-segment information. We propose to let a model learn to chunk in a more flexible way via reinforcement learning: a model can decide the next segment that it wants to process in either direction. We also employ recurrent mechanisms to enable information to flow across segments. Experiments on three MRC datasets -- CoQA, QuAC, and TriviaQA -- demonstrate the effectiveness of our proposed recurrent chunking mechanisms: we can obtain segments that are more likely to contain complete answers and at the same time provide sufficient contexts around the ground truth answers for better predictions.

연구 동기 및 목표

• 장문의 문서를 처리할 때 트랜스포머 기반 MRC 모델의 고정 길이 입력 제약 조건의 한계를 해결한다.
• 등간격이고 겹치지 않는 청크링으로 인한 일반화 능력 부족 문제를 해결하여 정답 구간을 놓치거나 문맥 일관성이 손상되는 것을 방지한다.
• 강화학습을 통해 최적의 세그먼트 경계를 선택하는 방식으로 정답 예측 성능을 향상시켜 고정된 스트라이드 크기에 의존하는 것을 줄인다.
• 순환 메커니즘을 통해 세그먼트 간 정보 흐름을 가능하게 하여 장문의 문서에서 떨어진 정답 구간 간의 추론을 지원한다.
• 대화형 및 오픈 도메인 데이터셋을 포함한 다양한 장문의 컨텍스트 MRC 벤치마크에서 일관된 성능 향상을 입증한다.

제안 방법

• 강화학습을 통해 훈련된 정책 네트워크를 도입하여 다음으로 처리할 세그먼트를 결정함으로써, 전진 또는 후진 방향으로도 융통성 있고 적응적인 청크링을 가능하게 한다.
• LSTM 또는 게이트드 재귀 구조를 사용하여 세그먼트 간에 은닉 상태를 유지하고 업데이트함으로써 개별 세그먼트를 초월한 정보 흐름을 가능하게 한다.
• 각 세그먼트의 입력을 BERT 또는 BERT-Large로 인코딩하여 정답 추출을 위한 문맥적 표현을 생성한다.
• 각 세그먼트가 정답을 포함할 가능성이 높은지 평가하는 청크링 스코어러를 통합하여, 여러 세그먼트의 예측을 앙상블한다.
• 정답 예측 성능 기반으로 청크링 결정을 최적화하기 위해 정책 기반 강화학습의 목표 함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 정답 구간이 세그먼트 중심에 더 잘 맞도록 하기 위해 청크링 중 전진 및 후진 이동을 허용함으로써 주변 문맥을 유지한다.

실험 결과

연구 질문

• RQ1 고정된 스트라이드 청크링 대비 강화학습 기반 청크링 정책이 장문의 MRC에서 정답 구간 커버리지 향상에 기여하는가?
• RQ2 세그먼트 간 순환 메커니즘을 통합함으로써 교차 세그먼트 문맥 흐름이 정답 예측 성능 향상에 기여하는가?
• RQ3 정답 구간의 위치가 세그먼트 중심에서 얼마나 떨어져 있는지에 따라 모델 성능에 영향을 미치는가? 그리고 동적 청크링이 이 문제를 완화할 수 있는가?
• RQ4 제안된 RCM 방법이 CoQA, QuAC, TriviaQA와 같은 다양한 장문의 컨텍스트 MRC 데이터셋에서 얼마나 성능 향상을 이룰 수 있는가?
• RQ5 정책 기반 강화학습을 통해 엔드 투 엔드 훈련을 통해 모델이 비최적의 청크링 패턴(예: 불완전한 정답, 낮은 문맥 유지)을 피할 수 있는가?

주요 결과

• LSTM 재귀를 사용한 BERT-RCM는 CoQA에서 79.7%의 세그먼트 히트율을 기록하여 BERT-Large의 54.0%보다 유의미하게 높게 나타나, 정보가 풍부한 세그먼트를 더 잘 선택함을 보여준다.
• CoQA에서 BERT-RCM에 LSTM을 사용할 경우 첫 세 개의 세그먼트에서 평균 정답 청크 중심 거리가 32.5 토큰으로 줄어들었고, BERT-Large의 96 토큰보다 훨씬 낮아 정답 구간과의 정렬이 향상됨을 보여준다.
• 청크링 스코어러는 정답을 포함하는 세그먼트에 대해 0.90의 높은 점수를 할당하여 관련 세그먼트를 효과적으로 식별함을 입증한다.
• 게이트드 재귀를 사용한 BERT-RCM는 QuAC에서 44.9%의 세그먼트 히트율을 기록하여 BERT-Large의 34.1%보다 10.8% 향상되어 정답을 포함하는 세그먼트에 더 집중함을 보여준다.
• BERT-Large가 세그먼트 경계 근처에서 부족한 문맥으로 어려움을 겪는 문제를 동적 청크링을 통해 경계를 유연하게 조정함으로써 예측 오류를 줄였다.
• CoQA, QuAC, TriviaQA에서의 광범위한 실험 결과는 최첨단 BERT 기반 모델 대비 일관된 성능 향상을 보이며, RCM의 효과가 다양한 장문의 컨텍스트 MRC 작업에 걸쳐 유효함을 입증한다.