[논문 리뷰] Multi-Perspective Context Aggregation for Semi-supervised Cloze-style Reading Comprehension

Liang Wang, Sujian Li외 5명|arXiv (Cornell University)|2018. 08. 19.

Topic Modeling참고 문헌 27인용 수 4

한 줄 요약

이 논문은 다중 시각적 맥락 집약 네트워크(MPNet)를 제안하여 반감독형 클로즈 스타일 독해 과제를 수행한다. 이는 주어진 맥락에서 다양한 언어적 시각(예: 어휘주의, 전반적 의미, n-gram 등)을 반영하는 다수의 맥락 집약 모듈을 결합하고, 답변 예측을 위해 포인터 네트워크를 사용한다. 또한 고품질의 비라벨 학습 예제를 효율적으로 생성하기 위해 분포 매칭 샘플링 전략을 도입하여 CLOTH 데이터셋에서 기존 최고 성능보다 4.2%p 향상된 새로운 최고 성능을 달성한다.

ABSTRACT

Cloze-style reading comprehension has been a popular task for measuring the progress of natural language understanding in recent years. In this paper, we design a novel multi-perspective framework, which can be seen as the joint training of heterogeneous experts and aggregate context information from different perspectives. Each perspective is modeled by a simple aggregation module. The outputs of multiple aggregation modules are fed into a one-timestep pointer network to get the final answer. At the same time, to tackle the problem of insufficient labeled data, we propose an efficient sampling mechanism to automatically generate more training examples by matching the distribution of candidates between labeled and unlabeled data. We conduct our experiments on a recently released cloze-test dataset CLOTH (Xie et al., 2017), which consists of nearly 100k questions designed by professional teachers. Results show that our method achieves new state-of-the-art performance over previous strong baselines.

연구 동기 및 목표

• CLOTH와 같이 고품질 수동 컬렉션으로 구성된 클로즈 스타일 독해 데이터셋에서 신경망 모델과 인간 성능 간의 성능 격차를 해소하기 위해, 자동 생성된 데이터셋보다 더 도전적인 데이터셋을 대상으로 한다.
• 클로즈 스타일 독해 과제에서 라벨이 부족한 문제를 해결하기 위해 반감독 학습을 통해 비라벨 텍스트를 활용한다.
• 주의, 전반적 의미, 어휘적 연속성 등 다양한 언어적 시각을 동시에 모델링하여 모델의 일반화 능력을 향상시킨다.
• 라벨이 있는 데이터와 비라벨 데이터 간 후보어휘의 분포를 일치시키는 샘플 효율적인 분포 인식 데이터 증강 방법을 개발한다.
• 이해관계자, 어법, 어휘 연속성 등 다양한 질문 유형을 포함하는 CLOTH 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 모델은 병렬 집약 모듈을 갖춘 다중 시각 아키텍처를 사용하며, 각 모듈은 주어진 맥락을 별개의 언어적 시각(주의 매칭, 반복 확장 컨볼루션을 통한 전반적 의미, n-gram, 신경 언어 모델)에서 처리한다.
• 각 집약 모듈은 가변 길이의 맥락과 후보어휘를 고정 길이의 벡터로 압축하여 맥락과 후보어휘 간의 다양한 관계를 포착한다.
• 모든 모듈의 출력은 연결되어 한 스텝 포인터 네트워크에 입력되어 최종 답변 토큰을 예측한다.
• 라벨이 있는 데이터와 비라벨 데이터 간 후보어휘의 분포를 일치시키기 위해 새로운 반감독 샘플링 기법을 제안하며, 정지어와 OOV(알 수 없는 어휘)는 가중치를 낮추고 의미 있는 어휘어는 유지한다.
• 비라벨 코퍼스에서 합성 학습 예제를 구성하기 위해 라벨이 있는 데이터의 분포 통계를 직접 활용함으로써 보조 모델 학습을 피한다.
• 방법은 CLOTH 데이터셋에서 평가되며, 비라벨 예제 생성을 위해 CLOTH 학습 세트, RACE, 위키백과 등의 배경 코퍼스를 사용한다.

실험 결과

연구 질문

• RQ1 CLOTH와 같이 도전적인 수동 컬렉션으로 구성된 클로즈 스타일 독해 과제에서 다중 시각 맥락 집약 프레임워크가 성능 향상에 기여하는가?
• RQ2 라벨이 부족한 상황에서 비라벨 데이터를 효과적으로 활용하여 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ3 데이터 증강을 위한 분포 매칭 샘플링 전략이 기존 방법에 비해 샘플 효율성과 성능 향상 측면에서 뛰어나게 작용하는가?
• RQ4 주의, 언어 모델, 확장 컨볼루션 등의 다양한 집약 모듈이 클로즈 질문에서 다양한 언어 현상 모델링에 기여하는 정도는 어느 정도인가?
• RQ5 외부 사전 학습이나 복잡한 보조 모델에 의존하지 않고도 반감독 접근법이 CLOTH에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 MPNet 모델은 CLOTH 데이터셋에서 기존 강력한 베이스라인보다 정확도 4.2%p 향상되어 새로운 최고 성능을 달성한다.
• 후보어휘 분포 매칭 기반 반감독 학습 전략은 훈련 데이터의 일부만으로도 성능 향상이 뚜렷하여 매우 높은 샘플 효율성을 입증한다.
• CLOTH 학습 세트를 배경 코퍼스로 사용할 경우 가장 높은 성능를 기록하며, 그 다음으로 RACE, 그 다음으로 위키백과가 이어지며, 이는 코퍼스 품질과 분포 일치가 데이터 증강에 있어 핵심 요소임을 시사한다.
• 모델의 다중 시각 설계 덕분에 이론적 추론, 어법, 어휘 연속성 등 다양한 질문 유형을 단일 시각 모델보다 더 효과적으로 다룰 수 있다.
• 제거 실험 결과 각 집약 모듈이 독립적으로 기여하며, 특히 언어 모델과 주의 기반 모듈이 어휘 및 매칭 유형 질문에 매우 효과적임을 확인했다.
• 외부 사전 학습이나 보조 모델 없이도 강력한 성능를 달성하여, 제안된 데이터 증강 및 아키텍처 설계의 효과성을 입증한다.