[논문 리뷰] HFL-RC System at SemEval-2018 Task 11: Hybrid Multi-Aspects Model for Commonsense Reading Comprehension

Zhipeng Chen, Yiming Cui외 4명|arXiv (Cornell University)|2018. 03. 15.

Topic Modeling참고 문헌 6인용 수 12

한 줄 요약

이 논문은 공공장식 독해를 위한 신경망 모델인 HMA(Hybrid Multi-Aspects) 모델을 제안한다. 이 모델은 텍스트, 질문, 보기 선택지를 기반으로 다각도 예측을 생성하기 위해 주어진 텍스트, 질문, 보기 선택지 간의 어텐션을 계산한다. Bi-LSTM 및 어텐션 기반 아키텍처에 단어 매칭, 품사 태그, 흐린 매칭 특징을 통합함으로써, SemEval-2018 Task 11 테스트 세트에서 84.13%의 정확도를 달성하여 참가자 24명 중 1등을 차지했다.

ABSTRACT

This paper describes the system which got the state-of-the-art results at SemEval-2018 Task 11: Machine Comprehension using Commonsense Knowledge. In this paper, we present a neural network called Hybrid Multi-Aspects (HMA) model, which mimic the human's intuitions on dealing with the multiple-choice reading comprehension. In this model, we aim to produce the predictions in multiple aspects by calculating attention among the text, question and choices, and combine these results for final predictions. Experimental results show that our HMA model could give substantial improvements over the baseline system and got the first place on the final test set leaderboard with the accuracy of 84.13%.

연구 동기 및 목표

• 외부 지식 기반 시스템에 의존하지 않고 다중 선택 독해 문제에서의 공공장식 추론 도전 과제를 해결하기 위해.
• 텍스트, 질문, 보기 간의 상호작용을 다각도 어텐션 메커니즘을 통해 모델링하여 모델 성능을 향상시키기 위해.
• 품사 태그, 단어 매칭, 흐린 매칭과 같은 수작업 특징을 통합함으로써 표현 학습을 향상시키기 위해.
• 공공장식 지식을 활용한 기계 독해 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• HMA 모델은 단어 수준, 문자 수준, 특징 수준 임베딩을 융합한 하이브리드 아키텍처를 사용하며, 최종 임베딩 크기는 218d이다.
• 텍스트, 질문, 보기 각각에 대해 공유된 하이웨이 네트워크를 거친 후 별도의 Bi-LSTM 레이어를 적용하여 문맥적 표현을 캡처한다.
• 세 가지 어텐션 메커니즘이 계산된다: 보기 인식 텍스트 어텐션, 보기 인식 질문 어텐션, 자기 주의 질문 어텐션으로서, 각각 다른 유형의 관련성 측정을 수행한다.
• 다양한 측면에서의 어텐션 점수는 소프트맥스 연산을 통해 조합되며, 최종 예측을 위해 확률을 합산한다.
• 종합적인 훈련을 위해 카테고리형 교차 엔트로피 손실을 사용하는 다중 작업 학습 목표를 적용한다.
• 일곱 개의 단일 모델을 통한 투표 기반 앙상블 학습을 통해 테스트 세트에서 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 외부 지식 기반 시스템에 의존하지 않고도 신경망 모델이 공공장식 독해에서 최신 기술 성능을 달성할 수 있는가?
• RQ2 다각도 어텐션은 텍스트, 질문, 보기 간의 관계를 얼마나 효과적으로 모델링하는가?
• RQ3 품사 태그 및 흐린 매칭과 같은 수작업 특징이 모호하거나 어색하게 표현된 질문에서 모델 성능을 얼마나 향상시키는가?
• RQ4 질문에 대해 자기 주의를 적용하면 복잡하거나 否정문 형태의 질문을 더 잘 다룰 수 있는가?

주요 결과

• HMA 모델은 개발 세트에서 84.48%의 정확도를 기록했으며, 단순한 RNN 베이스라인 대비 12.78% 향상된 성능을 보였다.
• 일곱 개의 단일 모델 앙상블은 개발 세트에서 86.46%의 성능을 기록했고, 최종 테스트 세트에선 84.13%의 정확도를 달성하여 1등을 차지했다.
• 흐린 매칭 특징 추가로 1%~2%의 정확도 향상이 있었으며, 정확한 단어 매칭을 넘어서 의미 유사성을 포착하는 데 그 가치가 있음을 입증했다.
• 어간 처리(단어 어간 추출)는 성능 저하를 야기했으며, 이는 모델이 형태소 정규화보다 전체 형태의 단어 표현에서 더 유리함을 시사한다.
• 공식 테스트 세트에서 다른 상위 랭킹 시스템, 예를 들어 Yuanfudao(83.95%) 및 MITRE(82.27%)를 모두 능가하는 성능을 기록했다.