[논문 리뷰] Match-Tensor: a Deep Relevance Model for Search

Aaron Jaech, Hetunandan Kamisetty외 2명|arXiv (Cornell University)|2017. 01. 26.

Topic Modeling참고 문헌 37인용 수 14

한 줄 요약

Match-Tensor는 쿼리-문서 단어 임베딩에서 유도된 3차원 매칭 채널 텐서를 통해 국소적 어간 수준의 매칭과 전반적 의미 신호를 동시에 모델링함으로써 검색 관련성 향상에 기여하는 딥 뉴럴 네트워크 아키텍처이다. 소셜 미디어 검색에서 BM25 및 기타 DNN보다 뛰어난 성능을 보이며, 전통적인 특징 공학에 의존하지 않고도 그 신호를 대부분 통합하여 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

The application of Deep Neural Networks for ranking in search engines may obviate the need for the extensive feature engineering common to current learning-to-rank methods. However, we show that combining simple relevance matching features like BM25 with existing Deep Neural Net models often substantially improves the accuracy of these models, indicating that they do not capture essential local relevance matching signals. We describe a novel deep Recurrent Neural Net-based model that we call Match-Tensor. The architecture of the Match-Tensor model simultaneously accounts for both local relevance matching and global topicality signals allowing for a rich interplay between them when computing the relevance of a document to a query. On a large held-out test set consisting of social media documents, we demonstrate not only that Match-Tensor outperforms BM25 and other classes of DNNs but also that it largely subsumes signals present in these models.

연구 동기 및 목표

• 기존 딥 뉴럴 네트워크가 국소적 관련성 매칭 신호(예: 정확한 용어 간격, 순서)를 포착하는 데에 한계를 보이는 문제를 해결하기 위해.
• 국소적 매칭과 전반적 주제적 관련성을 동시에 모델링하는 통합된 딥 러닝 아키텍처를 개발하여 수작업 특징 공학에 대한 의존도를 줄이기 위해.
• 단일 엔드 투 엔드 모델이 기존의 BM25 및 SSM과 같은 전통적 모델의 성능을 통합함으로써 특징 공학의 필요성을 제거할 수 있음을 입증하기 위해.
• 다양한 유사성 신호(예: 정확한 매칭, 의미 유사성)를 하나의 학습 가능한 3차원 표현으로 포괄하는 매칭 텐서 레이어의 효과성을 탐색하기 위해.

제안 방법

• 모델은 쿼리 및 문서 시퀀스를 문맥 기반 단어 표현으로 인코딩하기 위해 별도의 양방향 LSTM 네트워크를 사용한다.
• 각 쿼리 어간과 문서 어간에 대해, 인코딩된 표현의 원소별 곱셈을 통해 다중 차원 유사성(예: 정확한 매칭, 의미 유사성)을 계산함으로써 3차원 매칭 텐서를 형성한다.
• 매칭 텐서에는 정확한 매칭 채널과 다수의 의미 매칭 채널이 포함되어 있어 국소적 및 전반적 신호 간의 풍부한 상호작용을 가능하게 한다.
• 3차원 필터를 갖춘 2차원 컨볼루션 네트워크가 매칭 텐서를 처리하여 쿼리-문서 쌍의 최종 관련성 점수를 산출한다.
• 모델은 소셜 미디어 데이터의 레이블이 부여된 쿼리-문서 쌍을 대상으로 학습-랭킹 목적함수를 사용해 엔드 투 엔드로 훈련된다.
• 아키텍처는 정확한 매칭, 명명된 실체 연결, 또는 CNN 기반 표현과 같은 다양한 매칭 신호를 커스터마이징 가능한 매칭 채널을 통해 모듈러하게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 수작업 특징 공학에 의존하지 않고도 딥 뉴럴 네트워크 아키텍처가 국소적 관련성 매칭 신호(예: 용어 간격, 정확한 문구 매칭)를 효과적으로 포착할 수 있는가?
• RQ2 국소적 매칭과 전반적 의미 신호를 하나의 3차원 텐서 레이어에 통합함으로써, 기존 DNN 및 전통적 정보 검색 모델 대비 랭킹 정확도가 향상되는가?
• RQ3 단일 엔드 투 엔드 모델이 BM25 및 SSM과 같은 기존 모델의 성능을 얼마나 잘 통합할 수 있는가? 특징 공학의 필요성을 제거할 수 있는가?
• RQ4 Match-Tensor와 BM25 또는 SSM 특징을 조합한 메타모델과 비교할 때 모델의 성능는 어떻게 되는가?

주요 결과

• Match-Tensor는 소셜 미디어 검색 쿼리의 대규모 테스트 세트에서 BM25 및 기타 딥 뉴럴 네트워크 모델을 크게 앞서며 성능을 냈다.
• Match-Tensor와 BM25 및 SSM 특징을 조합한 메타모델의 성능과 거의 동일한 결과를 달성함으로써, 해당 모델이 이들의 관련성 신호를 통합하고 있음을 시사한다.
• Match-Tensor에 BM25를 특징으로 추가해도 성능 향상이 미미한 반면, 다른 모델에서는 이러한 추가가 상당한 성능 향상을 가져옴을 고려할 때, 이는 주목할 만한 차이점이다.
• 정확한 문구 매칭과 올바른 용어 순서를 고려한 결과를 정확히 랭킹함으로써, BM25의 일반적인 결함(예: 'low carb high fat'를 'low fat high carb'보다 우선시)을 피할 수 있었다.
• 정확한 매칭 전용 버전의 Match-Tensor는 의미적 의도를 파악하지 못하지만, 전체 모델은 정확한 어간이 없더라도 의미적으로 관련성이 높은 문서를 올바르게 선호함을 보였다.
• 유연한 매칭 텐서 레이어를 통해 다양한 매칭 신호를 통합할 수 있는 아키텍처의 능력은 향상된 일반화 능력과 쿼리 변형에 대한 강건성을 제공한다.