[논문 리뷰] Toward a Deep Neural Approach for Knowledge-Based IR

Gia-Hung Nguyen, Lynda Tamine외 2명|arXiv (Cornell University)|2016. 06. 23.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

이 논문은 광범위한 정보 검색에서 문서-질의 매칭을 향상시키기 위해 지식 기반(KB)을 통합하는 두 가지 딥 뉴럴 네트워크 아키텍처를 제안한다. 첫 번째 접근 방식은 분포형 단어 임베딩과 상징적 KB 표현을 융합하여 질의 및 문서의 의미를 풍부하게 한다; 두 번째 접근 방식은 공동 임베딩 공간을 통해 잠재 표현을 브리지하는 방식으로 KB를 의미론적 번역기로 활용하여 질의와 문서 간의 의미 일치도를 향상시킨다.

ABSTRACT

This paper tackles the problem of the semantic gap between a document and a query within an ad-hoc information retrieval task. In this context, knowledge bases (KBs) have already been acknowledged as valuable means since they allow the representation of explicit relations between entities. However, they do not necessarily represent implicit relations that could be hidden in a corpora. This latter issue is tackled by recent works dealing with deep representation learn ing of texts. With this in mind, we argue that embedding KBs within deep neural architectures supporting documentquery matching would give rise to fine-grained latent representations of both words and their semantic relations. In this paper, we review the main approaches of neural-based document ranking as well as those approaches for latent representation of entities and relations via KBs. We then propose some avenues to incorporate KBs in deep neural approaches for document ranking. More particularly, this paper advocates that KBs can be used either to support enhanced latent representations of queries and documents based on both distributional and relational semantics or to serve as a semantic translator between their latent distributional representations.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 활용하여 광범위한 정보 검색에서 질의와 문서 간의 의미 격차를 해소한다.
• 순수하게 분포형 단어 임베딩의 한계를 보완하기 위해 지식 기반에서 유래한 상징적이고 관계적인 의미를 통합한다.
• 통합된 신경망 아키텍처에서 분포형 및 관계형 의미를 융합하여 문서-질의 매칭을 향상시킨다.
• 공유된 임베딩 공간에서 질의와 문서의 잠재 표현을 일치시키기 위해 지식 기반을 의미론적 번역기로 탐색한다.
• 코퍼스 유래 분포형 의미와 구조화된 KB 유래 관계형 의미를 모두 활용하여 관련성 점수를 향상시킨다.

제안 방법

• 텍스트 코퍼스에서 유래한 단어 임베딩과 지식 기반에서 유도된 개념 임베딩을 융합하는 하이브리드 표현 레이어를 제안하며, 그래프 구조와 관계를 유지한다.
• 향상된 질의 및 문서 표현을 저차원 잠재 의미 공간으로 투영하기 위해 딥 세미틱 스타일드 모델(DSSM) 프레임워크를 사용한다.
• KB가 중개 요소로 기능하는 세 입력 신경망 아키텍처를 도입하여 질의 및 문서 표현 간의 번역 벡터를 학습한다.
• 공동 임베딩 학습을 활용하여 질의, 문서, 그리고 KB에서 유도된 개념-관계 벡터를 공통의 연속 공간으로 매핑하여 유사도 계산을 수행한다.
• 신경망을 적용하여 텀 기반 및 개념 기반 표현의 비선형 변환을 학습함으로써 세밀한 의미 매칭을 가능하게 한다.
• 지식 기반 하위그래프 임베딩을 활용하여 문서 및 질의 내 엔티티 간의 복합 관계를 모델링함으로써 의미의 풍부함을 향상시킨다.

실험 결과

연구 질문

• RQ1 지식 기반은 어떻게 딥 뉴럴 아키텍처에 효과적으로 통합되어 광범위한 정보 검색에서 문서-질의 매칭을 향상시킬 수 있는가?
• RQ2 텍스트에서 유래한 분포형 의미와 KB에서 유도한 상징적 의미를 융합하면 질의 및 문서의 잠재 표현을 더 잘 개선할 수 있는가?
• RQ3 지식 기반은 어느 정도까지 질의와 문서 간의 어휘 격차를 메우기 위한 의미론적 번역기로 기능할 수 있는가?
• RQ4 단어 임베딩만을 사용하는 것과 비교해 지식 기반의 관계 구조를 통합함으로써 딥 뉴럴 IR 모델의 성능은 얼마나 향상되는가?
• RQ5 문서-질의 관련성과 KB 기반 의미 일치를 공동으로 학습하는 데 가장 적합한 아키텍처 설계는 무엇인가?

주요 결과

• 지식 기반을 딥 뉴럴 IR 모델에 통합함으로써 분포형 의미와 관계형 의미를 융합하여 질의 및 문서의 표현을 향상시킨다.
• 제안된 KB 기반 번역 모델은 임베딩 공간 내에서 의미론적 중개자 역할을 하여 질의 및 문서 표현 간의 보다 효과적인 일치를 가능하게 한다.
• 단어 임베딩과 구조화된 KB에서 유도된 개념 임베딩을 융합하면 단어 중심 모델보다 더 풍부하고 의미적으로 정보가 풍부한 잠재 표현을 도출할 수 있다.
• KB 하위그래프 임베딩의 사용은 복합 관계를 모델링할 수 있게 하여 시스템의 복잡한 의미 관계를 포착하는 능력을 향상시킨다.
• 강화된 표현과 KB 기반 중개 번역이라는 이중 접근 방식은 IR 작업의 관련성 점수 향상 잠재력을 보여준다.
• 이 프레임워크는 DSSM에 국한되지 않으며, RNN이나 메모리 네트워크와 같은 다른 딥 러닝 아키텍처로도 일반화 및 변환 가능하다.