[논문 리뷰] MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension

Boyuan Pan, Hao Li외 4명|arXiv (Cornell University)|2017. 07. 28.

Topic Modeling참고 문헌 21인용 수 67

한 줄 요약

MEMEN은 POS/NER를 포함한 다층 단어 임베딩과 다중 점검 주의(attention)로 구성된 전체 지향 메모리 네트워크를 통해 SQuAD와 TriviaQA에서 기계 독해 성능을 향상시킵니다.

ABSTRACT

Machine comprehension(MC) style question answering is a representative problem in natural language processing. Previous methods rarely spend time on the improvement of encoding layer, especially the embedding of syntactic information and name entity of the words, which are very crucial to the quality of encoding. Moreover, existing attention methods represent each query word as a vector or use a single vector to represent the whole query sentence, neither of them can handle the proper weight of the key words in query sentence. In this paper, we introduce a novel neural network architecture called Multi-layer Embedding with Memory Network(MEMEN) for machine reading task. In the encoding layer, we employ classic skip-gram model to the syntactic and semantic information of the words to train a new kind of embedding layer. We also propose a memory network of full-orientation matching of the query and passage to catch more pivotal information. Experiments show that our model has competitive results both from the perspectives of precision and efficiency in Stanford Question Answering Dataset(SQuAD) among all published results and achieves the state-of-the-art results on TriviaQA dataset.

연구 동기 및 목표

• Rich한 단어 인코딩의 중요성(구문 및 명명 개체 정보 포함)이 MC 성능에 미치는 영향 강조.
• 단어, 문자, POS, NER 정보를 결합하는 임베딩 레이어를 skip-gram 학습으로 개발.
• 전체 방향성(다중 주의 스타일을 통합한) 메모리 네트워크를 제안하여 더 깊은 passage-question 상호작용 구현.
• 답변 경계 예측기를 위한 pointer-network 기반 경계 예측기를 사용하여 효율적으로 정답 위치를 찾음.
• 향상된 효율성으로 SQuAD와 TriviaQA에서 경쟁적 혹은 최첨단 성능 입증

제안 방법

• 맥락(context)과 질의(query)를 단어, 문자, POS, NER를 결합한 임베딩으로 인코딩합니다.
• POS 및 NER 임베딩을 skip-gram 모델로 학습하여 구문/의미 관계를 포착합니다.
• 임베딩 위에 BiLSTM을 적용하여 패시지 및 질문 표현을 얻습니다.
• 전체 방향성 매칭을 가진 메모리 네트를 도입하여 통합 질의 매칭, 질의 기반 유사도, 맥락 기반 유사도를 융합합니다.
• 정보 흐름을 제어하기 위한 입력 게이트가 있는 다중 메모리 홉을 쌓아 수렴성을 개선합니다.
• 질의 인식 표현으로 초기화된 포인터 네트워크를 사용하여 답변 경계를 예측합니다.

실험 결과

연구 질문

• RQ1 다층 구문/의미 임베딩이 표준 단어/문자 임베딩을 넘는 기계 독해 인코딩을 개선할 수 있는가?
• RQ2 다중 홉 읽기와 전체 방향성 주의 메모리 네트워크가 자기 일치(Self-matching)나 단일 주의 메커니즘보다 QA 성능과 효율을 개선하는가?
• RQ3 POS/NER skip-gram 임베딩의 통합이 SQuAD와 TriviaQA 결과에 어떤 영향을 미치는가?
• RQ4 MEMEN에서 홉 수가 정확도와 수렴성에 미치는 영향은 무엇인가?
• RQ5 MEMEN 표현으로 주어진 Passage에서 포인터 네트워크 경계 예측기가 효과적으로 정답 구간을 찾을 수 있는가?

주요 결과

• SQuAD에서 MEMEN은 75.37% exact match와 82.66% F1를 달성하여 경쟁력 있는 성능을 보임.
• MEMEN은 보고된 결과 중 TriviaQA에서 최첨단 성능을 달성함.
• Ablation 결과 POS 임베딩이 성능에 상당한 기여를 하며 POS와 NER 임베딩 모두 도움이 되며, POS가 특히 영향력이 큼.
• 전체 방향성 메모리는 세 가지 주의 벡터를 사용해 단일 차원 또는 단일 시야 주의보다 개선된 성능을 보임.
• 세 홉 MEMEN은 정확도와 학습 효율의 균형을 이룸; 3 홉을 넘는 추가 홉은 과적합 및 학습 시간 증가로 성능이 저하될 수 있음.
• 모델은 Titan X 단일 GPU에서 효율적으로 학습되며(예: 3홉의 경우 약 5시간) 더 깊은 자기 일치(self-matching) 변종에 비해 학습 시간이 합리적임.