[논문 리뷰] Query-based Attention CNN for Text Similarity Map

Tzu-Chien Liu, Yu-Hsueh Wu외 1명|arXiv (Cornell University)|2017. 09. 15.

Topic Modeling참고 문헌 7인용 수 7

한 줄 요약

이 논문은 다중 선택형 질의 응답을 위한 엔드 투 엔드 신경망인 질의 기반 어텐션 CNN(QACNN)을 제안한다. 이는 질의 기반 어텐션을 사용하는 두 단계의 CNN 아키텍처를 통해 텍스트 유사도 매칭을 향상시킨다. 단어 수준 및 문장 수준의 어텐션 기반 메커니즘을 통합함으로써 QACNN은 MovieQA 데이터셋에서 79.99%의 정확도를 달성하여 새로운 최고 성능 기록을 수립한다.

ABSTRACT

In this paper, we introduce Query-based Attention CNN(QACNN) for Text Similarity Map, an end-to-end neural network for question answering. This network is composed of compare mechanism, two-staged CNN architecture with attention mechanism, and a prediction layer. First, the compare mechanism compares between the given passage, query, and multiple answer choices to build similarity maps. Then, the two-staged CNN architecture extracts features through word-level and sentence-level. At the same time, attention mechanism helps CNN focus more on the important part of the passage based on the query information. Finally, the prediction layer find out the most possible answer choice. We conduct this model on the MovieQA dataset using Plot Synopses only, and achieve 79.99% accuracy which is the state of the art on the dataset.

연구 동기 및 목표

• 기존의 비교-집계 프레임워크가 문장과 질의를 매칭하는 데에 한계를 보이는 점을 보완하기 위해 어텐션 메커니즘을 통합한다.
• 두 단계의 CNN 아키텍처를 사용하여 단어 수준 및 문장 수준의 특징 추출을 향상시킨다.
• 질의 컨텍스트를 바탕으로 문단의 의미적으로 관련 있는 부분에 집중함으로써 모델 성능을 향상시킨다.
• 다중 선택형 질의 응답에서 MovieQA 데이터셋에서 최고 성능을 달성한다.

제안 방법

• 모델은 사전 학습된 GloVe 임베딩을 사용하여 문단, 질의, 답변 선택지를 단어 벡터로 변환하는 임bedding 레이어를 사용한다.
• 유사도 매핑 레이어는 문단 문장과 질의 간의 코사인 유사도, 그리고 문단 문장과 각 답변 선택지 간의 유사도를 계산하여 2차원 및 3차원 유사도 맵을 생성한다.
• 두 단계의 CNN 아키텍처는 먼저 문단-질의 및 문단-선택지 유사도 맵에 대해 컨볼루션 레이어를 사용하여 단어 수준의 매칭을 수행한 후, 풀링된 특징에 대해 문장 수준의 매칭을 수행한다.
• 질의 기반 어텐션은 단어 수준 및 문장 수준 모두에 적용되며, 문단-질의 유사도 맵을 사용하여 관련 있는 단어와 문장을 강조하는 어텐션 가중치를 생성한다.
• 문단-선택지 매칭에서 어텐션 가중치를 적용한 특징은 예측 레이어로 전달되어 가장 가능성 높은 답변 선택지를 선택한다.
• 모델은 MovieQA 데이터셋에서 플롯 개요만을 문단 입력으로 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 두 단계의 CNN 아키텍처가 다중 선택형 질의 응답의 텍스트 매칭에서 특징 추출을 향상시킬 수 있는가?
• RQ2 단어 수준 및 문장 수준에서 질의 기반 어텐션을 적용함으로써 모델이 문단 내 관련 정보를 식별하는 능력이 향상되는가?
• RQ3 어텐션 메커니즘의 통합은 수동 집계 방식과 비교해 성능에 어떤 영향을 미치는가?
• RQ4 플롯 개요만을 사용하여 MovieQA 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• QACNN는 MovieQA 테스트 세트에서 79.99%의 정확도를 기록하여 해당 데이터셋에 대해 새로운 최고 성능 기록을 수립했다.
• 두 단계의 CNN 아키텍처는 한 단계 버전보다 유의미하게 뛰어난 성능을 보였으며, 검증 세트에서 단일 단계 버전은 뿐다 66.8%의 정확도를 기록했다.
• 제거 실험 결과, 두 어텐션 메커니즘을 모두 제거하면 정확도가 69.6%로 떨어져 어텐션 기반 메커니즘이 모델의 효과성에 핵심적임을 입증했다.
• 문장 수준의 어텐션은 단어 수준의 어텐션보다 더 큰 기여를 하였으며, 단지 문장 수준의 어텐션만을 사용한 QACNN는 75.1%의 정확도를 기록한 반면, 단지 단어 수준의 어텐션만을 사용한 경우는 72.5%의 정확도를 기록했다.
• 시각화 결과, 문장 수준의 어텐션 맵이 정답이 포함된 문장을 정확히 식별했으며, 단어 수준의 어텐션은 그 문장의 끝부분에 있는 핵심 단어에 집중했다.
• 모델은 MCTest 데이터셋에서도 뛰어난 성능을 보였으며, MC160에서 68.1%의 정확도, MC500에서 61.5%의 정확도를 기록하여 기준 모델들을 능가했다.