[논문 리뷰] Attention-based Pairwise Multi-Perspective Convolutional Neural Network for Answer Selection in Question Answering

Jamshid Mozafari, Mohammad Ali Nematbakhsh외 1명|arXiv (Cornell University)|2019. 09. 03.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 질문-답변에서 답변 선택을 위한 주의 기반 쌍별 다중 perspectival 컨볼루션 신경망을 제안하며, 주의 메커니즘과 넓은 컨볼루션을 활용해 질문과 답변 간의 맥락 민감한 상호작용을 통해 의문어 집중도를 향상시킵니다. TrecQA Raw에서 최신 기준 성능을 달성하여 MAP를 1.4% 향상시키고 MRR를 1.1% 향상시켰으며, 외부 문법 분석기나 도구를 사용하지 않았습니다.

ABSTRACT

Over the past few years, question answering and information retrieval systems have become widely used. These systems attempt to find the answer of the asked questions from raw text sources. A component of these systems is Answer Selection which selects the most relevant from candidate answers. Syntactic similarities were mostly used to compute the similarity, but in recent works, deep neural networks have been used, making a significant improvement in this field. In this research, a model is proposed to select the most relevant answers to the factoid question from the candidate answers. The proposed model ranks the candidate answers in terms of semantic and syntactic similarity to the question, using convolutional neural networks. In this research, Attention mechanism and Sparse feature vector use the context-sensitive interactions between questions and answer sentence. Wide convolution increases the importance of the interrogative word. Pairwise ranking is used to learn differentiable representations to distinguish positive and negative answers. Our model indicates strong performance on the TrecQA Raw beating previous state-of-the-art systems by 1.4% in MAP and 1.1% in MRR while using the benefits of no additional syntactic parsers and external tools. The results show that using context-sensitive interactions between question and answer sentences can help to find the correct answer more accurately.

연구 동기 및 목표

• 질문과 후보 답변 간의 깊은 의미적 및 문법적 유사성을 포착함으로써 개방형 질문-답변에서 답변 선택 성능을 향상시키기 위해.
• 기존의 문법적 유사도 방법의 한계를 보완하기 위해 깊이 있는 신경망을 활용해 더 나은 표현 학습을 달성하기 위해.
• 의존성 분석기나 품사 태거와 같은 외부 도구에 의존하지 않도록 자가 포함된 신경망 아키텍처를 설계함으로써 이를 제거하기 위해.
• 맥락 민감한 주의 메커니즘과 다중 시점 컨볼루션 상호작용을 통해 모델 성능을 향상시키기 위해.
• 추가 언어 자원 없이 질문-답변 쌍만을 사용하여 TrecQA Raw 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 모델은 서로 다른 표현을 학습할 수 있도록 양방향 랭킹 프레임워크를 활용하여 올바른(긍정적) 답변와 잘못된(부정적) 답변를 구분할 수 있는 가중치를 학습합니다.
• 다양한 추상화 수준에서 질문과 답변 임베딩 간의 다양한 상호작용을 포착하기 위해 다중 시점 컨볼루션 네트워크를 적용합니다.
• 주요 단어, 특히 의문어를 동적으로 가중치를 매기기 위해 주의 메커니즘을 통합하여 맥락 민감한 정렬을 향상시킵니다.
• 수용 영역을 확장하기 위해 넓은 컨볼루션을 사용하여 '누구', '무엇', '언제' 등의 핵심 용어에 대한 민감도를 높입니다.
• 희소 특징 벡터를 통합하여 중요한 언어 패턴을 유지하고 일반화 능력을 향상시킵니다.
• 아키텍처는 엔드 투 엔드로 훈련 가능하여 의존성 분석기나 품사 태거와 같은 외부 도구의 사전 처리가 필요 없습니다.

실험 결과

연구 질문

• RQ1 외부 언어 자원에 의존하지 않고 주의 기반의 다중 시점 컨볼루션 네트워크가 답변 선택 성능 향상에 기여할 수 있는가?
• RQ2 맥락 민감한 주의 메커니즘이 질문과 후보 답변 간 정렬에 얼마나 효과적으로 기여하는가?
• RQ3 넓은 컨볼루션과 쌍별 랭킹이 답변 선택에서 의미적 및 문법적 유사성을 포착하는 데 얼마나 기여하는가?
• RQ4 제안된 모델이 TrecQA Raw와 같은 표준 벤치마크에서 기존 최신 기준 시스템을 초월할 수 있는가?
• RQ5 자기 포함된 신경망 아키텍처가 외부 NLP 구성 요소에 대한 의존도를 줄이며 효율성을 유지하면서도 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 TrecQA Raw 벤치마크에서 이전 최신 기준 대비 1.4% 향상된 평균 평균 정밀도(MAP)를 기록했습니다.
• 모델은 평균 역수 순위(MRR)에서 1.1% 향상되어 올바른 답변의 랭킹 품질이 향상됨을 보여주었습니다.
• 의존성 분석기나 품사 태거와 같은 외부 도구를 사용하지 않고도 기존 방법보다 뛰어난 성능을 달성했습니다.
• 주의 메커니즘의 통합은 주로 의문어와 관련된 핵심 내용에 집중할 수 있는 능력을 크게 향상시켰습니다.
• 넓은 컨볼루션은 핵심 용어에 대한 민감도를 높여 사실 기반 질문에 대한 성능 향상에 기여했습니다.
• 제거 실험 결과, 주의 메커니즘과 쌍별 랭킹이 최적 성능 달성에 필수적인 구성 요소임을 확인했습니다.