[논문 리뷰] Neural IR Meets Graph Embedding: A Ranking Model for Product Search

Yuan Zhang, Dong Wang외 1명|arXiv (Cornell University)|2019. 01. 24.

Advanced Graph Neural Networks참고 문헌 48인용 수 8

한 줄 요약

이 논문은 제품 검색을 위한 신경망 랭킹 모델인 GEPS를 제안하며, 클릭 스루 및 이질적인 사용자 행동 데이터를 활용하기 위해 그래프 임베딩 기법을 통합하여 장시간 테일 쿼리와 희귀 항목에서 성능을 크게 향상시킨다. 신경 정보 검색 프레임워크에 그래프 구조 특징을 통합함으로써 의미적 매칭과 전이적 관련성 추론이 향상되어 실제 이커머스 데이터셋에서 강력한 베이스라인을 초월한다.

ABSTRACT

Recently, neural models for information retrieval are becoming increasingly popular. They provide effective approaches for product search due to their competitive advantages in semantic matching. However, it is challenging to use graph-based features, though proved very useful in IR literature, in these neural approaches. In this paper, we leverage the recent advances in graph embedding techniques to enable neural retrieval models to exploit graph-structured data for automatic feature extraction. The proposed approach can not only help to overcome the long-tail problem of click-through data, but also incorporate external heterogeneous information to improve search results. Extensive experiments on a real-world e-commerce dataset demonstrate significant improvement achieved by our proposed approach over multiple strong baselines both as an individual retrieval model and as a feature used in learning-to-rank frameworks.

연구 동기 및 목표

• 이커머스 검색에서 흔히 발생하는 클릭 스루 데이터의 장시간 테일 희소성 문제를 해결하기 위해.
• 신경 랭킹 모델이 클릭 그래프 및 공구매 네트워크와 같은 그래프 구조 데이터를 효과적으로 활용할 수 있도록 하기 위해.
• 그래프 기반의 유도적 편향을 통해 전이적 관련성을 포착함으로써 검색 성능을 향상시키기 위해.
• 비지도 그래프 기반 특징과 지도 학습 기반 신경 랭킹 모델의 장점을 조합하기 위해.
• 신경 정보 검색 시스템에 외부 이질적 정보를 효율적이고 확장 가능하게 통합할 수 있는 방법을 제공하기 위해.

제안 방법

• 모델은 사전 훈련된 그래프 임베딩(예: node2vec)을 사용하여 쿼리, 제품, 사용자 세션을 동일한 벡터 공간에 표현한다.
• 그래프 임베딩는 클릭 스루 및 공출현 데이터에서 유도되며, 사용자 상호작용의 이질적 그래프를 형성한다.
• 이러한 임베딩는 쿼리 및 제품 표현과 결합되어 랭킹을 위한 딥 네트워크의 입력 특징으로 사용된다.
• 신경 모델은 복합 입력 특징에서 비선형 관련성 함수를 학습하기 위해 다층 퍼셉트론을 사용한다.
• 이 방법은 검색을 링크 예측 작업으로 간주하며, 관련성은 그래프 내 쿼리-제품 쌍이 연결될 가능성으로 모델링된다.
• 사전 계산된 임베딩를 통해 그래프 구조와 신경망을 분리함으로써 엔드 투 엔드 GCN 접근 방식보다 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 그래프 임베딩 기법이 신경 정보 검색 모델에 효과적으로 통합되어 제품 검색 랭킹을 향상시킬 수 있는가?
• RQ2 그래프 구조의 클릭 스루 데이터를 통합할 경우 장시간 테일 쿼리 및 희귀 항목에서 성능에 어떤 영향을 미치는가?
• RQ3 그래프 임베딩가 단독으로 신경망이 쉽게 학습하기 어려운 전이적 관련성 관계를 어느 정도 포착할 수 있는가?
• RQ4 훈련 데이터가 희소하거나 불완전한 경우에도 그래프 기반 특징이 신경 모델을 향상시킬 수 있는가?
• RQ5 제안된 방법은 독립형 및 러닝 투 랭킹 설정 모두에서 강력한 신경 및 그래프 기반 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 GEPS 모델은 실제 이커머스 데이터셋에서 강력한 신경 및 그래프 기반 베이스라인보다 뚜렷한 성능 향상을 달성한다.
• GEPS는 장시간 테일 쿼리에서 특히 두드러지게 평균 평균 정확도(MAP) 및 정규화된 할당 누적 수익(NDCG) 다수 지표에서 성능 향상을 보였다.
• 모델은 데이터 희소성에 뛰어난 강건성을 보이며, 표준 신경 모델보다 희귀 쿼리 및 제품에 더 잘 일반화된다.
• 그래프 임베딩를 통해 공시청 또는 공구매 항목과 같은 이질적 신호를 통합함으로써 검색 정확도에 측정 가능한 향상이 있었다.
• 그래프 임베딩의 통합은 유사성이 그래프 내 간접 연결을 통해 전파되는 전이적 관련성의 더 나은 포착을 가능하게 했다.
• 그래프 임베딩의 유도적 편향 덕분에 예측되지 않은 쿼리나 항목이 나타나도 확장 가능하고 효과적인 성능을 유지한다.