[논문 리뷰] LSTM-based Deep Learning Models for Non-factoid Answer Selection

Ming Tan, Cícero dos Santos외 2명|arXiv (Cornell University)|2015. 11. 12.

Topic Modeling참고 문헌 24인용 수 403

한 줄 요약

이 논문은 수작업으로 구성한 특징이나 언어학적 도구에 의존하지 않는 비요약형 답변 선택을 위한 양방향 LSTM 기반 딥러닝 프레임워크를 제안한다. biLSTM, CNN 및 주의 메커니즘을 조합하여 더 나은 문맥 인식 표현을 확보함으로써, TREC-QA 및 InsuranceQA 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, TREC-QA에서 MRR 기준으로 강력한 베이스라인보다 최대 4% 향상되었다.

ABSTRACT

In this paper, we apply a general deep learning (DL) framework for the answer selection task, which does not depend on manually defined features or linguistic tools. The basic framework is to build the embeddings of questions and answers based on bidirectional long short-term memory (biLSTM) models, and measure their closeness by cosine similarity. We further extend this basic model in two directions. One direction is to define a more composite representation for questions and answers by combining convolutional neural network with the basic framework. The other direction is to utilize a simple but efficient attention mechanism in order to generate the answer representation according to the question context. Several variations of models are provided. The models are examined by two datasets, including TREC-QA and InsuranceQA. Experimental results demonstrate that the proposed models substantially outperform several strong baselines.

연구 동기 및 목표

• 수작업 특징 공학 또는 언어학적 도구가 필요 없는 답변 선택을 위한 딥러닝 프레임워크 개발.
• 더 풍부한 국소적 특징 추출을 위해 biLSTM와 합성곱 신경망을 조합하여 답변 표현 향상.
• 질문의 관련 문맥에 초점을 맞추는 주의 메커니즘을 도입하여 질문과 답변 간 매칭 향상.
• 두 가지 다양한 비요약형 QA 데이터셋인 TREC-QA 및 InsuranceQA에서 제안된 모델 평가.
• 종합적인 학습과 주의 메커니즘, 계층적 표현이 전통적인 특징 기반 및 CNN 전용 베이스라인을 초월함을 입증.

제안 방법

• 모델은 질문과 답변 후보를 양방향 LSTMs를 사용해 조밀한 벡터 표현으로 인코딩한다.
• biLSTM의 최종 은닉 상태에 최대 풀링 레이어를 적용하여 각 시퀀스에 대해 고정 크기의 표현을 생성한다.
• biLSTM 출력 위에 합성곱 신경망(CNN)을 쌓아 국소적인 n-그램 특징을 추출하고 표현 품질을 향상시킨다.
• 질문의 문맥에 조건화된 답변 표현을 생성하기 위해 주의 메커니즘을 도입하여 답변의 관련 부분에 동적으로 초점을 맞춘다.
• 질문과 답변 임베딩 간 매칭 점수는 코사인 유사도를 사용해 측정한다.
• 모델는 확률적 경사 하강법과 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 정답 답변을 최상위로 순위 매기기 위해 최적화된다.

실험 결과

연구 질문

• RQ1 biLSTM와 주의 메커니즘에 기반한 딥러닝 프레임워크가 언어학적 특징이나 외부 자원에 의존하지 않고도 뛰어난 답변 선택 성능을 달성할 수 있는가?
• RQ2 biLSTM와 CNN을 조합함으로써 비요약형 QA에서 질문과 답변의 표현 학습이 어떻게 향상되는가?
• RQ3 질문의 문맥과 일치하는 주의 메커니즘을 도입함으로써 매칭 정확도가 얼마나 향상되는가?
• RQ4 제안된 모델이 TREC-QA 및 InsuranceQA에서의 성능을 통해 다양한 도메인으로 일반화되는가?
• RQ5 MAP 및 MRR 기준으로 CNN 전용 및 특징 공학 기반 강력한 베이스라인과 비교할 때 모델의 성능은 어떠한가?

주요 결과

• biLSTM, CNN 및 주의 메커니즘을 포함한 제안 모델(E 모델)은 TREC-QA에서 MAP 72.79% 및 MRR 82.40%로 가장 높은 성능을 기록했으며, 최고의 베이스라인 대비 MAP 기준 1.45%p, MRR 기준 2.9%p 향상되었다.
• biLSTM/CNN와 주의 메커니즘을 조합한 모델(D)는 MRR 83.22%를 기록하여 Wang & Nyberg(2015)의 베이스라인 대비 MRR 기준 4% 향상되었다.
• 주의 메커니즘 전용 모델(B)는 기본 QA-LSTM 모델 대비 MRR 약 2% 향상되어 관련 답변 부분에 초점을 맞추는 데 효과적임을 입증했다.
• CNN를 강화한 모델(C)는 기본 QA-LSTM 모델 대비 MAP 및 MRR 모두 2% 이상 향상되어 국소적 특징 학습이 표현 품질 향상에 기여함을 보여주었다.
• 주의 메커니즘을 포함하지 않은 모델(A)는 MAP 68.19% 및 MRR 76.52%를 기록하여, 심지어 기본 biLSTM 프레임워크도 이전의 특징 기반 방법보다 뛰어난 성능을 보임을 시사했다.
• InsuranceQA 데이터셋에서의 결과는 두 개의 비딥러닝 베이스라인과 강력한 딥러닝 베이스라인(CNN 기반)에 비해 상당한 향상을 보였으며, 이는 프레임워크의 도메인 간 일반화 능력을 확인한다.