[논문 리뷰] Gaussian Attention Model and Its Application to Knowledge Base Embedding and Question Answering

Liwen Zhang, John Winn외 1명|arXiv (Cornell University)|2016. 11. 07.

Topic Modeling참고 문헌 21인용 수 20

한 줄 요약

이 논문은 다변량 정규분포 우도를 사용하여 메모리 항목을 점수 매기는 가중치가 가능한 콘텐츠 기반 주의 메커니즘인 가우시안 주의 모델(Gaussian Attention Model)을 제안한다. 이는 날카럽거나 넓은 집중을 포함한 다양한 집중 제어를 가능하게 하며, 관계 조합 및 연결 조건 쿼리에서 불확실성을 자연스럽게 모델링함으로써 지식 기반 임bedding 및 질의 응답 성능을 향상시킨다. FIFA 월드컵 2014 지식 기반에서 경로 쿼리 및 연결 쿼리에 대해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose the Gaussian attention model for content-based neural memory access. With the proposed attention model, a neural network has the additional degree of freedom to control the focus of its attention from a laser sharp attention to a broad attention. It is applicable whenever we can assume that the distance in the latent space reflects some notion of semantics. We use the proposed attention model as a scoring function for the embedding of a knowledge base into a continuous vector space and then train a model that performs question answering about the entities in the knowledge base. The proposed attention model can handle both the propagation of uncertainty when following a series of relations and also the conjunction of conditions in a natural way. On a dataset of soccer players who participated in the FIFA World Cup 2014, we demonstrate that our model can handle both path queries and conjunctive queries well.

연구 동기 및 목표

• 지식 기반 추론에서 신경 메모리 액세스를 향상시키기 위해 날카롭거나 넓은 집중을 제어할 수 있는 더 유연한 주의 메커니즘을 개발하는 것.
• 지식 그래프에서 다수의 관계를 순차적으로 탐색할 때 불확실성 모델링을 효과적으로 가능하게 하는 것.
• 다양한 관계 조합(예: '독일에서 온 사람 중에서 포지션을 수비수로 하는 사람은 누구인가?')을 포함한 연결 쿼리(예: '독일에서 온 사람과 수비수로 뛰는 사람은 누구인가?')를 비가역적이고 구성적인 프레임워크에서 자연스럽게 처리할 수 있도록 하는 것.
• 엔티티 임베딩 및 질의 추론에 가우시안 점수 매기기를 통합하여 지식 기반 기반 질의 응답 성능을 향상시키는 것.
• 경로 탐색 및 논리적 연결을 포함한 복잡한 쿼리에서 모델의 우수성을 입증하는 것.

제안 방법

• 모델은 다변량 정규분포 우도를 점수 함수로 사용한다: score = -0.5*(v - μ)ᵀΣ⁻¹(v - μ) + const, 여기서 μ와 Σ는 맥락에 따라 결정되는 평균 및 공분산이다.
• 주의 메커니즘은 콘텐츠 기반으로, 맥락(예: 질의 또는 관계)이 가우시안 파라미터(μ, Σ)를 결정함으로써 동적 집중 제어가 가능하다.
• 지식 기반 엔티티는 이 점수 매기기 함수를 사용하여 연속 벡터 공간에 임bedding되며, 이는 TransE와 유사하지만 불확실성 인식 관계를 갖는 TransGaussian 모델을 형성한다.
• 관계는 평균 이동과 분산 추가를 통해 가우시안 변환으로 모델링되며, 가우시안 컨볼루션을 통한 구성적 추론이 가능하다.
• 모델은 가우시안 기반의 연결 및 조합을 통해 경로 쿼리(예: '독일에서 온 선수가 소속된 클럽에서 뛰는 사람은 누구인가?')와 연결 쿼리(예: '독일에서 온 사람과 수비수로 뛰는 사람은 누구인가?')를 모두 지원한다.
• 학습은 가중치가 가능한 주의를 통해 엔드 투 엔드 최적화를 사용하며, 엔티티 임베딩 및 관계 파라미터의 기울기 기반 학습이 가능하다.

실험 결과

연구 질문

• RQ1 가우시안 분포를 통해 불확실성을 모델링하는 가역적 주의 메커니즘이 지식 기반에서의 추론 성능을 향상시킬 수 있는가?
• RQ2 가우시안 주의 모델은 관계 조합(경로 쿼리) 및 조건 연결을 포함한 복잡한 쿼리를 얼마나 잘 처리할 수 있는가?
• RQ3 집중 범위 조절 능력(날카로움에서 넓은 집중까지)이 지식 기반 질의 응답에서 일반화 및 강인성 향상에 기여하는가?
• RQ4 가우시안 기반 점수 매기기가 희소 지식 기반에서 의미적 유사성과 불확실성을 모델링하는 데 기존 내적곱 주의보다 뛰어난 성능을 보일 수 있는가?
• RQ5 복잡한 추론 과제에서 구성적 학습 및 엔드 투 엔드 학습이 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• 가우시안 주의 모델은 연결 쿼리에서 98.81%의 정확도를 기록하여 이와 같은 복잡한 쿼리 유형에서 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 경로 쿼리에서는 85.94%의 정확도를 달성하여 지식 그래프에서의 다단계 추론 성능이 뛰어나다는 것을 입증했다.
• 간단한 질문에 대해서는 'FC 바르셀로나에서 수비수로 뛰는 사람은 누구인가?'에 대해 98.77%의 정확도를 기록하여 원자적 사실에 대해 매우 높은 정밀도를 보였다.
• 관계 조합 과정에서 불확실성을 자연스럽게 처리했으며, 복잡하고 다단계적인 쿼리에서도 성능이 강인하게 유지되었다.
• 모든 쿼리 유형에서 강력한 기준 모델을 초월했으며, 특히 내적곱 주의가 어려움을 겪는 연결 및 경로 쿼리에서 뛰어난 성능을 보였다.
• 제거 실험을 통해 가우시안 주의 메커니즘이 집중 범위 제어 능력이 다양한 쿼리 유형을 효과적으로 다루는 데 핵심적인 역할을 한다는 것이 확인되었다.