[논문 리뷰] Exploring Question Understanding and Adaptation in Neural-Network-Based Question Answering

Junbei Zhang, Xiaodan Zhu외 4명|arXiv (Cornell University)|2017. 03. 14.

Topic Modeling참고 문헌 20인용 수 39

한 줄 요약

이 논문은 문법 구문 분석과 질문 유형 적응을 통합하여 질문 응답 성능을 향상시키는 신경망 프레임워크를 제안한다. 질문의 문법 구조를 모델링하기 위해 트리 구조의 LSTMs를 사용하고, 질문 유형 간 소프트 적응 메커니즘을 적용하여 SQuAD 개발 세트에서 69.10% EM 및 78.38% F1을 달성한다. 이는 당시의 강력한 베이스라인과 최신 단일 모델 성능을 초월한다.

ABSTRACT

The last several years have seen intensive interest in exploring neural-network-based models for machine comprehension (MC) and question answering (QA). In this paper, we approach the problems by closely modelling questions in a neural network framework. We first introduce syntactic information to help encode questions. We then view and model different types of questions and the information shared among them as an adaptation task and proposed adaptation models for them. On the Stanford Question Answering Dataset (SQuAD), we show that these approaches can help attain better results over a competitive baseline.

연구 동기 및 목표

• 질문 인코딩에 문법적 구조를 통합하여 신경 기계 이해에서 질문 이해를 향상시키는 것.
• 예를 들어 '무엇', '왜', '언제'와 같은 다양한 질문 유형을 공유되지만 구분되는 작업으로 간주하는 신경 적응 프레임워크를 통해 모델링하는 것.
• 질문 유형 간 공유 표현을 학습하면서도 유형별 특수성을 유지함으로써 답변 예측 오류율을 감소시키는 것.
• 문법적 구조 및 적응 기반 모델링이 SQuAD 벤치마크에서 측정 가능한 성능 향상에 기여함을 보여주는 것.

제안 방법

• 질문의 문법 파싱 트리를 캡처하기 위해 선형 시퀀스를 초월한 장거리 의존성을 모델링하기 위해 트리 구조의 LSTM(TreeLSTM)을 사용한다.
• 질문 유형, 예를 들어 '무엇', '왜', '언제'와 같은 카테고리를 나타내기 위해 명시적인 질문 유형 임베딩(T-code)을 도입한다.
• 공유 기반 모델이 각 질문 유형별로 학습 가능한 적응 행렬을 사용하여 미세조정되는 소프트 적응 메커니즘을 적용한다. 이때 K개의 유형으로 설정된다.
• 강건한 단어 인코딩을 위해 캐릭터 수준의 CNN과 사전 학습된 GloVe 임베딩을 조합한 다중 수준의 단어 표현을 사용한다.
• 질문과 문서 양쪽을 양방향 GRU로 인코딩한 후, 질문과 문서 표현 간의 정렬을 위해 양방향 어텐션 메커니즘을 적용한다.
• 과적합을 방지하기 위해 정규화를 위해 인코더 및 집계 레이어에 드롭아웃(0.5)을 적용한다.

실험 결과

연구 질문

• RQ1 신경 질문 응답 모델에서 문법 구문 분석이 질문 표현 향상에 기여하는가?
• RQ2 질문 유형을 별개의 작업 또는 공유 작업으로 간주하는 것보다, 적응 작업으로 모델링하는 것이 성능 향상에 기여하는가?
• RQ3 적응된 질문 유형 수(K)가 SQuAD에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 소프트 적응 메커니즘이 질문 응답에서 공유 지식과 유형별 특수성 간의 균형을 효과적으로 유지할 수 있는가?

주요 결과

• K=100일 때 제안된 모델은 SQuAD 개발 세트에서 69.10% EM 및 78.38% F1 스코어를 기록하여, 베이스라인(68.00% EM, 77.36% F1)을 초월했다.
• 명시적인 질문 유형 임베딩(T-code)을 추가함으로써 성능이 약간 향상되어 68.16% EM 및 77.58% F1을 기록했다.
• TreeLSTM를 사용한 문법 인코딩을 통해 성능이 더욱 향상되어 68.29% EM 및 77.67% F1을 달성했다.
• K=20일 때 소프트 적응 메커니즘이 68.73% EM 및 77.74% F1을 기록하여 표 1에 기재된 결과와 일치했다.
• 모델은 '언제' 질문에서 가장 높은 EM/F1 스코어를 기록했고, '왜' 질문에서 가장 어려움을 겪었으며, 이는 '왜' 질문이 가장 적은 빈도로 나타났기 때문이다.
• 약 14.89%의 예측에서 F1 스코어가 0%였는데, 이는未래 오류 감소의 주요 대상임을 시사한다.