[논문 리뷰] Yuanfudao at SemEval-2018 Task 11: Three-way Attention and Relational Knowledge for Commonsense Machine Comprehension

Liang Wang, Sun, Meng외 3명|arXiv (Cornell University)|2018. 03. 01.

Topic Modeling참고 문헌 18인용 수 12

한 줄 요약

이 논문은 세 가지 요소인 본문, 질문, 답변 간의 상호작용을 단어 수준의 어텐션을 사용해 모델링하는 세 방향 주의성 신경망인 TriAN을 제안한다. ConceptNet의 관계 임베딩을 통합하고 RACE에서 미리 훈련함으로써, SemEval-2018 Task 11 테스트 세트에서 83.95%의 정확도를 기록하여 최신 기술에 근접한 성능을 달성한다.

ABSTRACT

This paper describes our system for SemEval-2018 Task 11: Machine Comprehension using Commonsense Knowledge. We use Three-way Attentive Networks (TriAN) to model interactions between the passage, question and answers. To incorporate commonsense knowledge, we augment the input with relation embedding from the graph of general knowledge ConceptNet (Speer et al., 2017). As a result, our system achieves state-of-the-art performance with 83.95% accuracy on the official test data. Code is publicly available at https://github.com/intfloat/commonsense-rc

연구 동기 및 목표

• 본문, 질문, 답변 시퀀스 간의 상호작용을 모델링하여 공리적 추론 작업에서 기계 독해 성능을 향상시키는 것.
• 성능 향상을 위해 ConceptNet에서 유래한 외부 공리적 지식을 관계 임베딩으로 통합하는 것.
• 저자원 독해 설정에서 미리 훈련과 수작업 특징의 효과를 조사하는 것.
• 다양한 어텐션 메커니즘과 입력 표현 방식이 모델 정확도에 미치는 영향을 평가하는 것.
• 작은 규모의 데이터셋에서 얕은 모델이 깊은 모델보다 더 잘 일반화되는지 탐구하는 것.

제안 방법

• 모델은 세 방향 어텐션 메커니즘을 사용하여 순서 어텐션 함수를 통해 본문 인식 질문 표현과 답변 인식 본문 표현을 계산한다.
• 입력 표현은 GloVe 임베딩, 형태소 정보 및 명명된 엔티티 임베딩, ConceptNet에서 유도된 관계 임베딩, 어근 빈도 및 공존도와 같은 수작업 특징을 조합한다.
• 관계 임베딩는 본문의 단어들과 질문 또는 답변의 단어들 간의 엣지를 ConceptNet에서 검색하여 유도된다.
• BiLSTM 레이어는 본문, 질문, 답변 간의 순차적 의존성을 모델링하기 위해 연결된 표현에 적용된다.
• 더 작은 SemEval-2018 데이터셋에서 과적합을 방지하고 일반화 성능을 향상시키기 위해 RACE 데이터셋에서 미리 훈련을 수행한다.
• 최종 성능 향상을 위해 모델 앙상블을 사용하여 공식 테스트 세트에서 83.95%의 정확도를 달성한다.

Figure 1: TriAN Model Architecture.

실험 결과

연구 질문

• RQ1 공리적 독해에서 본문, 질문, 답변 간의 상호작용을 모델링하는 데 있어 세 방향 어텐션의 효과는 어떠한가?
• RQ2 ConceptNet에서 유도된 관계 임베딩는 공리적 이해 작업 성능 향상에 얼마나 기여하는가?
• RQ3 RACE와 같은 외부 독해 훈련 데이터셋에서의 미리 훈련은 저자원 벤치마크에서 성능 향상에 기여하는가?
• RQ4 다양한 입력 표현 구성 요소(예: 품사, 명명된 엔티티, 수작업 특징)는 모델 정확도에 어떻게 기여하는가?
• RQ5 깊은 모델이 일반적으로 더 큰 데이터셋에서 더 잘 작동하는 데 비해, 이 데이터셋에서는 왜 깊은 TriAN 모델이 얕은 모델보다 성능이 열 劣하는가?

주요 결과

• 미리 훈련된 TriAN 모델은 공식 SemEval-2018 Task 11 테스트 세트에서 83.95%의 정확도를 기록하여 최신 기술에 근접한 성능을 달성한다.
• RACE 데이터셋에서의 미리 훈련은 초기화 없이 훈련하는 것에 비해 테스트 세트에서 1.13% 향상시키며, 자료가 부족한 환경에서의 강력한 이점을 보여준다.
• ConceptNet에서 유도된 관계 임베딩는 약 1%의 정확도 향상을 기여하며, 공리적 추론에서의 가치를 입증한다.
• 개별 어텐션 메커니즘(본문-질문, 본문-답변, 질문-답변)을 제거해도 영향은 미미하지만, 모든 어텐션을 제거하면 테스트 세트에서 정확도가 1.3% 감소한다.
• 1층 TriAN 모델은 2층 버전보다 성능이 뛰어나며, 깊은 아키텍처가 표현력은 있지만 작은 훈련 세트에서는 과적합이 발생함을 시사한다.
• 수작업 특징과 명명된 엔티티 임베딩은 약간의 성능 향상을 가져오며, 형태소 정보 임베딩는 다소 긍정적인 영향을 미친다.