[논문 리뷰] MMM: Multi-stage Multi-task Learning for Multi-choice Reading Comprehension

Di Jin, Shuyang Gao외 3명|arXiv (Cornell University)|2019. 10. 01.

Topic Modeling참고 문헌 29인용 수 13

한 줄 요약

이 논문은 다단계 다중 작업 학습 프레임워크인 MMM을 제안한다. 이는 먼저 도메인 외 자연어 추론(NLI) 데이터셋에서 거칠게 튜닝한 후, 대규모 도메인 내 다중 선택 질문 응답(MCQA) 데이터셋(RACE)을 통해 다중 작업 학습을 통해 다중 선택 독해 이해 성능을 향상시킨다. 이 방법은 네 개의 MCQA 데이터셋에서 BERT 기반 모델보다 최소 7%p의 절대 정확도 향상을 이끌어내며, 이는 이전 최고 성능(SOTA) 대비 최대 16%p 향상이며, 특히 추론 및 산술 문제에서 두드러진 성능 향상을 보인다.

ABSTRACT

Machine Reading Comprehension (MRC) for question answering (QA), which aims to answer a question given the relevant context passages, is an important way to test the ability of intelligence systems to understand human language. Multiple-Choice QA (MCQA) is one of the most difficult tasks in MRC because it often requires more advanced reading comprehension skills such as logical reasoning, summarization, and arithmetic operations, compared to the extractive counterpart where answers are usually spans of text within given passages. Moreover, most existing MCQA datasets are small in size, making the learning task even harder. We introduce MMM, a Multi-stage Multi-task learning framework for Multi-choice reading comprehension. Our method involves two sequential stages: coarse-tuning stage using out-of-domain datasets and multi-task learning stage using a larger in-domain dataset to help model generalize better with limited data. Furthermore, we propose a novel multi-step attention network (MAN) as the top-level classifier for this task. We demonstrate MMM significantly advances the state-of-the-art on four representative MCQA datasets.

연구 동기 및 목표

• 다중 선택 독해(MCQA)에서 레이블이 부여된 데이터가 제한된 문제에 대응하기 위해, 기존 데이터셋이 작고 고도의 추론 능력이 요구된다는 점을 다루기.
• 효율적인 전이 학습 전략을 통해 저자원 MCQA 데이터셋에서 BERT 기반 모델의 일반화 능력을 향상시키기.
• 도메인 외 NLI 데이터셋과 도메인 내 대규모 MCQA 데이터셋의 지식을 동시에 활용하여 성능 향상을 도모할 수 있는지 조사하기.
• MCQA에서 복잡한 추론 패턴을 더 잘 포착하기 위해 새로운 상위 레벨 분류기인 다단계 주의망(MAN)을 설계하기.
• 두 단계 훈련 전략—NLI에서의 거칠게 튜닝 후 RACE 및 대상 데이터셋에서의 다중 작업 미세 조정—이 MCQA 벤치마크에서 뛰어난 성능을 내는지 입증하기.

제안 방법

• 두 단계 훈련 전략을 적용: 먼저 도메인 외 NLI 데이터셋(MNLI 등)에서 모델을 거칠게 튜닝하여 일반적인 추론 및 텍스트 함의 능력을 학습하기.
• 다음으로, 대규모 도메인 내 RACE 데이터셋과 대상 MCQA 데이터셋(DREAM, MCTest, TOEFL, SemEval 등)의 조합에서 다중 작업 미세 조정을 수행하여 데이터 부족 상황에서의 일반화 능력을 향상시키기.
• 패스제이지, 질문, 답변 옵션 간의 복잡한 주의 흐름을 모델링하기 위해 표준 완전 연결 층 대신 다단계 주의망(MAN)을 상위 레벨 분류기로 도입하기.
• 패스제이지, 질문, 후보 답변을 연결한 입력을 표현하기 위해 BERT 또는 RoBERTa를 기본 인코더로 사용하기.
• 답변 옵션에 대한 다중 분류를 위한 교차 엔트로피 손실을 사용하여 모델을 종합적으로 최적화하기.
• 도메인 특화 데이터 증강 및 지식 정렬 기법을 활용하여 더 높은 강인성과 성능 향상을 도모하기.

실험 결과

연구 질문

• RQ1 도메인 외 NLI 데이터셋에서의 거칠게 튜닝이 저자원 MCQA 작업에서 BERT 기반 모델의 추론 능력을 향상시키는가?
• RQ2 대규모 도메인 내 MCQA 데이터셋(RACE)과 대상 데이터셋의 조합에서 다중 작업 미세 조정이 표준 미세 조정보다 더 나은 일반화를 이끌어내는가?
• RQ3 제안된 다단계 주의망(MAN)이 복잡한 추론 패턴을 포착하는 데 있어 표준 피드포워드 분류기보다 얼마나 효과적인가?
• RQ4 두 단계 훈련 전략이 MCQA 벤치마크에서 단일 단계 미세 조정 또는 다른 전이 학습 접근법보다 얼마나 뛰어나게 성능을 냅니다?
• RQ5 모델은 다양한 질문 유형(논리적 추론, 산술, 일반 지식 등)에서 어떻게 작동하며, 실패 모드는 무엇인가?

주요 결과

• MMM 프레임워크는 네 개의 MCQA 데이터셋(DREAM, MCTest, TOEFL, SemEval)에서 BERT-base 모델의 정확도를 최소 7%p 향상시키며, 이는 이전 SOTA 대비 최대 16%p 향상된 성과를 기록한다.
• 두 단계 훈련 전략—NLI에서의 거칠게 튜닝 후 RACE 및 대상 데이터셋에서의 다중 작업 미세 조정—이 최적의 접근 방식임을 입증하였으며, 단일 단계 미세 조정보다 뚜렷이 뛰어난 성능을 보였다.
• 다단계 주의망(MAN)은 표준 완전 연결 분류기보다 더 높은 성능을 기록하였으며, 특히 복잡한 추론 및 일치 문제에서 두드러진 성능 향상을 보였다.
• 모델은 어려운 질문 유형에서 뚜렷한 향상을 보였다: 산술 질문의 정확도는 기준선에서 73.7%로 상승하였고, 일치 문제에서는 특히 두드러진 향상이 있었다.
• 산술 질문에서 높은 정확도를 기록했음에도 불구하고, 질문이나 패스제이지에 미세한 변형이 가해지면 모델의 성능이 급격히 떨어지므로, 진정으로 수학적 추론을 수행하는 것이 아니라 패턴 매칭에 의존할 가능성이 있음을 시사한다.
• 오류 분석 결과, BERT-base 기준선에서 흔히 발생하는 잘못된 예측 유형의 오류를 모델이 크게 줄였으며, 특히 논리적 추론 및 일반 지식 추론에서 두드러진 개선이 있었다.