[논문 리뷰] An Attention-Based Word-Level Interaction Model: Relation Detection for Knowledge Base Question Answering

Hongzhi Zhang, Guandong Xu외 3명|arXiv (Cornell University)|2018. 01. 30.

Topic Modeling참고 문헌 37인용 수 12

한 줄 요약

이 논문은 지식 기반 질의 응답(KBQA)에서 관계 검출을 위한 주의 기반 어절 수준 상호작용 모델(ABWIM)을 제안한다. 이 모델은 풀링 기반의 시퀀스 압축을 질문 및 관계 어휘 간의 소프트 주의 정렬로 대체한다. 어휘 수준 표현 간의 세밀한 컨볼루션 신경망(CNN) 기반 비교를 수행함으로써 정보 손실를 감소시키고, SimpleQuestions 및 WebQuestions 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Relation detection plays a crucial role in Knowledge Base Question Answering (KBQA) because of the high variance of relation expression in the question. Traditional deep learning methods follow an encoding-comparing paradigm, where the question and the candidate relation are represented as vectors to compare their semantic similarity. Max- or average- pooling operation, which compresses the sequence of words into fixed-dimensional vectors, becomes the bottleneck of information. In this paper, we propose to learn attention-based word-level interactions between questions and relations to alleviate the bottleneck issue. Similar to the traditional models, the question and relation are firstly represented as sequences of vectors. Then, instead of merging the sequence into a single vector with pooling operation, soft alignments between words from the question and the relation are learned. The aligned words are subsequently compared with the convolutional neural network (CNN) and the comparison results are merged finally. Through performing the comparison on low-level representations, the attention-based word-level interaction model (ABWIM) relieves the information loss issue caused by merging the sequence into a fixed-dimensional vector before the comparison. The experimental results of relation detection on both SimpleQuestions and WebQuestions datasets show that ABWIM achieves state-of-the-art accuracy, demonstrating its effectiveness.

연구 동기 및 목표

• 최근 기술 수준의 KBQA 관계 검출 모델에서 시퀀스 표현의 최대/평균 풀링으로 인한 정보 블로킹 문제를 해결하기 위해.
• 세밀한 주의 기반 어절 수준 상호작용을 모델링하여 질문과 관계 간의 의미 유사도 측정을 향상시키기 위해.
• 고정된 차원의 벡터로 압축한 후 비교하는 인코딩-비교 프레임워크의 한계를 완화하기 위해.
• 직접적인 어휘 표현 비교를 통해 저수준 의미 정보를 유지함으로써 KBQA에서의 관계 검출 정확도를 향상시키기 위해.
• 주의 기반 어절 수준 상호작용이 개방형 도메인 질의 응답에서 미묘한 의미 관계를 포착하는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 양방향 LSTM(Bi-LSTM)을 사용하여 질문과 후보 관계를 문맥 인식 가능한 표현으로 어휘 임베딩의 시퀀스로 표현한다.
• 질문의 각 어휘와 관계의 모든 어휘 간 소프트 주의 정렬을 학습하여, 각 질문 어휘에 대해 문맥 인식 가능한 가중치 표현을 생성한다.
• 질문 어휘 표현과 주의 기반 관계 표현 간의 어절 수준 비교를 위해 다중 커널 컨볼루션 신경망(CNN)을 적용한다.
• CNN 출력에 대해 최대 풀링을 수행하여 비교 특징를 고정된 크기의 표현으로 집계하고 유사도 점수를 계산한다.
• 최종 로지스틱 레이어를 사용하여 질문과 관계 간의 의미 유사도 점수를 예측하며, 이는 관계가 관련이 있는지 여부를 나타낸다.
• 동적으로 의미적으로 관련된 어휘 쌍을 강조함으로써 주의 메커니즘을 통합하여 정렬 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 질문과 관계 간의 주의 기반 어절 수준 상호작용이 기존의 풀링 기반 인코딩-비교 모델보다 KBQA 관계 검출에서 더 우수한 성능을 내는가?
• RQ2 고정된 차원의 벡터 압축 방식에 비해 저수준 어휘 수준 상호작용을 유지할 경우 정보 손실는 얼마나 감소하는가?
• RQ3 제안된 주의 메커니즘이 질문과 관계 경로 간의 의미적으로 관련된 어휘를 얼마나 효과적으로 정렬하는가?
• RQ4 주의 기반 표현에 기반한 CNN 기반 비교가 의미 유사도 측정 정확도를 향상시키는가?
• RQ5 다양한 전처리 전략(LSTM, CNN, 게이트드 선형 단위)이 ABWIM 모델의 전체 성능에 미치는 영향은 어떠한가?

주요 결과

• ABWIM은 SimpleQuestions 및 WebQuestions 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존의 딥러닝 기반 베이스라인보다 관계 검출 정확도에서 뛰어난 성능을 보였다.
• 제거 실험을 통해 전처리 Bi-LSTM 레이어가 성능 향상에 크게 기여하며, 장거리 의존성 모델링이 더 우수하기 때문에 CNN 및 게이트드 선형 변환 기반 베이스라인을 능가함을 확인하였다.
• 주의 행렬의 시각화 결과 ABWIM이 의미적으로 관련된 핵심 어휘인 'university'(대학)와 'attend'(참석하다) 등을 집중적으로 정렬하는 것을 확인하였다.
• CNN 레이어 출력의 시각화 결과 모델이 비교 과정에서 중요한 어휘를 강조하는 것을 확인하였으며, 효과적인 특징 학습을 수행하고 있음을 시사한다.
• 전처리 없이도 모델이 우수한 성능를 보이며, 어휘 수준 주의 기반 상호작용이 정보 손실를 줄이는 데 내재된 효과성을 입증하였다.
• Bi-LSTM를 전처리로 사용함으로써 다른 방법보다 더 나은 문맥 표현을 제공하여 전체 최신 기술 수준 결과에 기여하였다.