[논문 리뷰] Learning to Match Using Local and Distributed Representations of Text for Web Search

Bhaskar Mitra, Fernando Díaz외 1명|arXiv (Cornell University)|2016. 10. 25.

Topic Modeling인용 수 39

한 줄 요약

이 논문은 웹 검색에서 쿼리-문서 매칭을 위한 국소적(정확한 용어 일치) 및 분포적(워드 임베딩 기반) 표현을 함께 학습하는 이중 신경망 아키텍처인 '듀엣' 모델을 제안한다. 단일 엔드 투 엔드 학습 가능한 모델에서 두 표현을 통합함으로써, 개별 모델과 기존 기반 모델보다 웹 페이지 순위 매기기 작업에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Models such as latent semantic analysis and those based on neural embeddings learn distributed representations of text, and match the query against the document in the latent semantic space. In traditional information retrieval models, on the other hand, terms have discrete or local representations, and the relevance of a document is determined by the exact matches of query terms in the body text. We hypothesize that matching with distributed representations complements matching with traditional local representations, and that a combination of the two is favorable. We propose a novel document ranking model composed of two separate deep neural networks, one that matches the query and the document using a local representation, and another that matches the query and the document using learned distributed representations. The two networks are jointly trained as part of a single neural network. We show that this combination or `duet' performs significantly better than either neural network individually on a Web page ranking task, and also significantly outperforms traditional baselines and other recently proposed models based on neural networks.

연구 동기 및 목표

• 문서 순위 매기기에서 국소적 용어 일치 또는 분포적 임베딩에만 의존하는 데에 기인하는 한계를 해결하기 위해.
• 국소적 및 분포적 표현을 결합하면 웹 검색에서 관련성 매칭 성능이 향상되는지 조사하기 위해.
• 두 표현 유형을 모두 활용하는 개선된 순위 매기기 성능를 위한 공동 학습 프레임워크를 개발하기 위해.
• 제한된 클릭 데이터를 가진 실제 웹 페이지 순위 매기기 작업에서 모델의 효과성을 평가하기 위해.

제안 방법

• 모델은 정확한 용어 일치 기반 국소 표현을 위한 하나의 별도 딥 네트워크와 학습된 워드 임베딩을 사용하는 분포적 표현을 위한 다른 하나의 딥 네트워크를 사용한다.
• 각 네트워크는 해당 공간 내에서 쿼리 및 문서 표현을 매칭하여 관련성 점수를 계산한다.
• 두 네트워크는 랭킹 성능을 최적화하기 위해 단일 엔드 투 엔드 신경망의 일부로 공동으로 훈련된다.
• 최종 랭킹 점수는 두 네트워크 출력의 가중 조합이다.
• 모델은 관련성 평가가 있는 레이블이 부여된 쿼리-문서 쌍을 사용하여 훈련되며, NDCG 최적화를 목표로 한다.
• 실제 웹 검색 데이터셋을 대상으로 접근법을 평가하였으며, 구성 요소 기여도를 분석하기 위한 아블레이션 연구를 실시하였다.

실험 결과

연구 질문

• RQ1 국소적 및 분포적 표현을 결합하면, 각각을 별도로 사용할 때보다 더 나은 문서 순위 매기기 성능를 달성하는가?
• RQ2 공동으로 훈련된 이중 네트워크 아키텍처는 BM25와 같은 전통적인 정보 검색 모델을 초월할 수 있는가?
• RQ3 개별 구성 요소(국소 대 비분포적)가 전체 성능에 어떻게 기여하는가?
• RQ4 장문의 문서 순위 매기기 작업에서 듀엣 모델은 단일 브랜치 신경망보다 더 잘 일반화되는가?

주요 결과

• 듀엣 모델은 웹 페이지 순위 매기기 작업에서 국소 표현 전용 및 분포적 표현 전용 모델보다 뚜렷이 뛰어난 성능을 보인다.
• BM25 및 언어 모델링 접근 방식과 같은 기존 기반 모델보다도 상당한 향상을 달성한다.
• 동일한 벤치마크에서 DSSM 및 CDSSM과 같은 다른 최근 신경망 기반 모델보다도 성능이 뛰어나다.
• 아블레이션 연구 결과, 국소 및 분포적 구성 요소가 성능에 독립적으로 기여하며, 조합이 가장 우수한 결과를 낳는다.
• 모델는 강력한 일반화 능력을 보이며, 더 큰 레이블이 부여된 데이터셋을 사용할 경우 더욱 높은 성능 향상을 기대할 수 있음을 시사한다.