[논문 리뷰] Multi-Task Learning with Multi-View Attention for Answer Selection and Knowledge Base Question Answering

Yang Deng, Yuexiang Xie외 6명|arXiv (Cornell University)|2018. 12. 06.

Topic Modeling참고 문헌 27인용 수 9

한 줄 요약

이 논문은 다중 시각 주의 메커니즘을 사용하여 답변 선택과 지식 기반 질의 응답(KBQA)을 동시에 최적화하는 다중 작업 학습 프레임워크를 제안한다. 단어 수준, 지식 수준, 상호 주의 수준의 시각을 통합함으로써 모델은 상호 학습을 통해 문장 표현을 향상시키며, 기준 데이터셋에서 단일 작업 기반 모델 대비 두 작업 모두에서 성능을 크게 향상시킨다.

ABSTRACT

Answer selection and knowledge base question answering (KBQA) are two important tasks of question answering (QA) systems. Existing methods solve these two tasks separately, which requires large number of repetitive work and neglects the rich correlation information between tasks. In this paper, we tackle answer selection and KBQA tasks simultaneously via multi-task learning (MTL), motivated by the following motivations. First, both answer selection and KBQA can be regarded as a ranking problem, with one at text-level while the other at knowledge-level. Second, these two tasks can benefit each other: answer selection can incorporate the external knowledge from knowledge base (KB), while KBQA can be improved by learning contextual information from answer selection. To fulfill the goal of jointly learning these two tasks, we propose a novel multi-task learning scheme that utilizes multi-view attention learned from various perspectives to enable these tasks to interact with each other as well as learn more comprehensive sentence representations. The experiments conducted on several real-world datasets demonstrate the effectiveness of the proposed method, and the performance of answer selection and KBQA is improved. Also, the multi-view attention scheme is proved to be effective in assembling attentive information from different representational perspectives.

연구 동기 및 목표

• 답변 선택과 KBQA를 별개의 작업으로 학습할 경우 발생하는 부작위적 노력과 교차 작업 이점의 손실을 해결하기 위해.
• 다중 작업 학습 환경에서 다중 시각 주의를 통해 공유 표현과 작업별 특화 표현을 어떻게 향상시킬 수 있는지 탐색하기 위해.
• 답변 선택에 지식 기반(KB) 정보를 통합하여 성능을 향상시키고, 답변 선택에서 유도된 문맥 기반 문장 표현을 활용하여 KBQA 성능을 향상시키기 위해.
• 다중 시각 주의를 통해 단어 수준, 지식 수준, 의미 수준 표현을 통합하는 새로운 다중 작업 학습 체계를 설계하기 위해.

제안 방법

• 공유 및 작업별 전용 레이어를 갖춘 다중 작업 학습 아키텍처를 사용하며, 공유 레이어는 다수의 시각에서 유도된 정보를 집계한다.
• 다중 시각 주의는 다섯 가지 시각에서 적용된다: 단어 수준, 지식 수준, 의미 수준, 지식-의미 수준, 질문과 답변 간의 공통 주의.
• 답변 선택 및 KBQA를 위한 작업별 전용 레이어가 초기 표현을 생성한 후, 다중 시각 주의 메커니즘을 통해 개선된다.
• 다중 시각 주의 메커니즘은 다양한 표현 시각에서 유도된 주의 신호를 융합하여 교차 작업 정보 전달과 richer한 문장 표현을 가능하게 한다.
• 모델은 두 작업의 순위 손실을 동시에 최적화하며, 손실의 가중치 합을 사용하여 작업 목표 간 균형을 맞춘다.
• 지식 수준 주의는 질문 및 답변 토큰을 지식 기반의 엔티티에 매핑하고, 단어 수준 주의는 토큰 수준의 상호작용에 집중한다.

실험 결과

연구 질문

• RQ1 단일 작업 학습 대비 답변 선택과 KBQA를 공동으로 학습할 경우 두 작업의 성능 향상이 이루어지는가?
• RQ2 단어 수준, 지식 수준, 상호 주의 수준을 포함한 다중 시각 주의를 통합할 경우 표현 학습이 어떻게 향상되는가?
• RQ3 답변 선택은 지식 기반 정보로 어느 정도 이점을 얻을 수 있으며, 답변 선택에서 도출된 문맥 기반 문장 표현을 통해 KBQA는 어느 정도 향상될 수 있는가?
• RQ4 제안된 다중 시각 주의 메커니즘은 다양한 표현 시각에서의 정보를 효과적으로 통합하여 모델 일반화 성능을 향상시키는가?

주요 결과

• 기준 데이터셋에서 답변 선택과 KBQA의 공동 학습은 최신 단일 작업 기반 방법보다 유의미하게 뛰어난 성능을 보이며, 다중 작업 학습의 이점을 입증한다.
• 다중 시각 주의 메커니즘이 단어 수준, 지식 수준, 상호 주의 수준의 정보를 효과적으로 융합함으로써 성능 향상을 이룬다.
• 실험 결과 지식 수준 주의가 관련된 지식 기반 사실에 집중하는 데 기여하고, 단어 수준 주의가 지식 기반의 불완전하거나 누락된 정보를 보완함을 확인하였다.
• 제거 실험 결과 각 주의 시각이 성능 향상에 기여하며, 특히 공통 주의와 지식-의미 수준 주의가 두드러진 성과를 보였다.
• 모델은 답변 선택 및 KBQA 작업 모두에서 최신 기술 수준의 성능을 달성하여 제안된 다중 시각 주의 메커니즘의 효과성을 입증하였다.