[논문 리뷰] Option Comparison Network for Multiple-choice Reading Comprehension

Qiu Ran, Peng Li외 2명|arXiv (Cornell University)|2019. 03. 07.

Topic Modeling참고 문헌 18인용 수 50

한 줄 요약

논문은 옵션 비교 네트워크(OCN)를 소개합니다. 각 정답 옵션을 skimmer(BERT 기반)로 인코딩한 뒤 옵션을 단어 수준에서 비교하여 상관관계를 추출하고, RACE에서 MCRC를 향상시키며 Amazon Mechanical Turk의 성능을 능가합니다.

ABSTRACT

Multiple-choice reading comprehension (MCRC) is the task of selecting the correct answer from multiple options given a question and an article. Existing MCRC models typically either read each option independently or compute a fixed-length representation for each option before comparing them. However, humans typically compare the options at multiple-granularity level before reading the article in detail to make reasoning more efficient. Mimicking humans, we propose an option comparison network (OCN) for MCRC which compares options at word-level to better identify their correlations to help reasoning. Specially, each option is encoded into a vector sequence using a skimmer to retain fine-grained information as much as possible. An attention mechanism is leveraged to compare these sequences vector-by-vector to identify more subtle correlations between options, which is potentially valuable for reasoning. Experimental results on the human English exam MCRC dataset RACE show that our model outperforms existing methods significantly. Moreover, it is also the first model that surpasses Amazon Mechanical Turker performance on the whole dataset.

연구 동기 및 목표

• 기사 읽기 전에 옵션을 비교하는 인간과 유사한 전략을 동기 부여하여 MCRC의 추론 능력을 향상시키려는 목표입니다.

제안 방법

• 각 옵션을 기사와 질문과 함께 BERT 기반 스키머로 인코딩하여 옵션 특징을 생성합니다.
• 옵션 표현 간 주의를 통해 단어 수준의 상관관계를 계산하여 쌍별 및 집합적 옵션 상관관계를 수집합니다.
• 추출된 옵션 상관관계를 코-어텐션과 셀프 어텐션을 통해 재읽기하여 전체 정보 옵션 표현을 얻습니다.
• 최종 옵션 표현을 풀링하고 옵션 점수에 소프트맥스를 적용하여 올바른 옵션을 예측합니다.
• 엔드 투 엔드 학습을 위해 교차 엔트로피 손실과 L2 정규화를 함께 사용합니다.

실험 결과

연구 질문

• RQ1 단어 수준의 옵션 비교가 고정 길이 또는 독립적인 옵션 표현에 비해 MCRC 성능을 향상시킬 수 있습니까?
• RQ2 패시지를 재읽을 때 옵션 간 상관관계가 추론에 실질적으로 도움이 됩니까?
• RQ3 이와 같은 모델이 RACE에서 인간 성능에 얼마나 근접할 수 있으며 Amazon Mechanical Turk의 품질을 넘어설 수 있습니까?

주요 결과

모델	RACE-M	RACE-H	RACE
OCN BASE	71.6	64.8	66.8
OCN LARGE	76.7	69.6	71.7
Amazon Mechanical Turker	85.1	69.4	73.3
Human Ceiling Performance	95.4	94.2	94.5

• BERT 기반 스키머를 갖춘 OCN이 RACE에서 기준선 대비 강한 성능 향상을 보였습니다.
• OCN LARGE가 전체 RACE 데이터셋에서 Amazon Mechanical Turk를 능가하고 RACE-H 하위 집합에서 유의한 이득을 보였습니다.
• 옵션 비교를 제거하거나 비-BERT 임베딩을 사용할 때 성능이 크게 저하됨을 보여주는 어블레이션 연구는 옵션 상관 모델링과 사전 학습 표현의 중요성을 강조합니다.
• 모델은 인간의 천장 성능보다 낮아 여전히 복잡한 추론 과제에서 개선의 여지가 있습니다.
• 사전 학습된 맥락화 표현(BERT/GPT)은 비사전 학습 모델에 비해 성능을 대폭 향상시킵니다.