[논문 리뷰] Joint Modeling and Optimization of Search and Recommendation

Hamed Zamani, W. Bruce Croft|arXiv (Cornell University)|2018. 07. 15.

Recommender Systems and Techniques참고 문헌 26인용 수 14

한 줄 요약

이 논문은 검색 및 추천 시스템을 함께 학습하기 위해 공유 손실 함수를 사용하는 공동 모델링 프레임워크 JSR를 제안한다. 이로 인해 검색 및 추천 성능이 향상된다. 아마존 제품 데이터에 대한 실험 결과, 독립적 학습 대비 두 작업 모두에서 뚜렷한 성능 향상이 나타났으며, 공유된 사용자 상호작용을 통해 일반화 능력 향상과 더 나은 아이템 표현 학습이 가능했다.

ABSTRACT

Despite the somewhat different techniques used in developing search engines and recommender systems, they both follow the same goal: helping people to get the information they need at the right time. Due to this common goal, search and recommendation models can potentially benefit from each other. The recent advances in neural network technologies make them effective and easily extendable for various tasks, including retrieval and recommendation. This raises the possibility of jointly modeling and optimizing search ranking and recommendation algorithms, with potential benefits to both. In this paper, we present theoretical and practical reasons to motivate joint modeling of search and recommendation as a research direction. We propose a general framework that simultaneously learns a retrieval model and a recommendation model by optimizing a joint loss function. Our preliminary results on a dataset of product data indicate that the proposed joint modeling substantially outperforms the retrieval and recommendation models trained independently. We list a number of future directions for this line of research that can potentially lead to development of state-of-the-art search and recommendation models.

연구 동기 및 목표

• 검색 및 추천 시스템을 함께 모델링함으로써 유사한 목표(사용자가 관련 정보를 찾는 데 도움 주기)를 달성할 잠재적 이점을 탐색한다.
• 정보 검색(IR) 및 추천 시스템(RecSys) 커뮤니티 간 격차를 해소하기 위해 검색 및 추천 학습을 동일한 프레임워크 아래 통합한다.
• 검색 및 추천 데이터에서 유사한 신호를 활용해 일반화 능력 향상과 표현 학습 향상을 도모한다.
• 공동 학습이 검색 및 추천 작업 양쪽 모두에서 독립적 학습을 능가하는지 조사한다.
• 단일 모odal리티(검색 또는 추천)에만 레이블이 있는 경우, 냉시작 시나리오에서 성능 향상을 가능하게 한다.

제안 방법

• 공유된 공동 손실 함수를 사용해 검색 모델과 추천 모델을 함께 학습하는 일반적인 프레임워크인 JSR를 제안한다.
• 기본 아키텍처로 두 모델 모두에 완전 연결 신경망을 사용해 타당성과 성능를 평가한다.
• 검색(예: 쿼리-아이템 관련성)과 추천(예: 구매 이력) 데이터에서 유래한 사용자 상호작용 데이터를 활용해 공유된 아이템 표현을 학습한다.
• 엔드 투 엔드 학습 중 검색 및 추천 목표를 균형 잡는 복합 손실 함수를 최적화한다.
• 아이템에 대한 공유된 임bedding 공간을 활용해 의미적 신호와 협업 신호를 함께 인코딩한다.
• 쿼리, 클릭 스트림 로그, 구매 이력 데이터를 포함한 아마존 제품 데이터셋을 사용해 실제 시나리오를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 검색 및 추천 모델의 공동 학습이 독립 학습 모델 대비 성능 향상에 기여할 수 있는가?
• RQ2 공동 모델링이 검색 및 추천 시스템의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 공유된 사용자 상호작용 데이터가 두 작업 모두의 아이템 표현 학습에 얼마나 기여하는가?
• RQ4 공동 학습이 낮은 데이터 환경에서 한 모달리티(예: 검색)의 지식을 다른 모달리티(예: 추천)로 효과적으로 전이할 수 있는가?
• RQ5 혼합된 데이터 소스를 가진 실세계 환경에서 공동 최적화 프레임워크는 강건하고 확장 가능한가?

주요 결과

• JSR 프레임워크를 통한 공동 학습은 독립 학습 모델 대비 검색 검색 및 추천 작업 모두에서 뚜렷한 성능 향상을 이룬다.
• 공동 모델은 공유 학습의 정규화 효과로 인해 훈련 데이터에 대한 과적합을 줄여 더 나은 일반화 능력을 확보한다.
• 공동으로 학습된 아이템 표현은 더 의미적으로 일관성이 있으며, 'iphone accessories'와 같은 쿼리에서 검색 성능 향상으로 입증된다.
• 공유된 표현이 검색 및 구매 로그에서의 공존 패턴을 포착함으로써 추천 성능이 향상되어 관련 아이템의 리콜률이 증가한다.
• 냉시작 시나리오에서도 프레임워크가 성능 향상을 이끌 수 있어, 작업 간 전이 학습 잠재력이 있음을 시사한다.
• 결과적으로 한 모델(예: 검색)의 성능 향상이 다른 모델(예: 추천)의 성능 향상에 간접적으로 기여함을 보여주며, '한 방에 두 마리 새를 잡는' 가설을 지지한다.