[논문 리뷰] Context-aware Reranking with Utility Maximization for Recommendation

Yunjia Xi, Weiwen Liu외 6명|arXiv (Cornell University)|2021. 10. 18.

Recommender Systems and Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 CRUM을 제안하며, 이는 가상의 재정렬된 목록에서 항목의 위치와 정렬 상태인 가상의 맥락(Counterfactual Context)을 모델링하여 재정렬 후 최대의 유용성을 달성하는 맥락 인식 재정렬 프레임워크이다. Bi-LSTM와 그래프 주의망을 사용하여 리스트 기반의 유용성을 추정하고, 쌍별 재정렬기(pairwise reranker)를 통해 최적의 항목 교환을 효율적으로 탐색하여, 공개 및 산업 데이터셋에서 관련성 및 유용성 메트릭에서 최신 기술을 크게 능가한다.

ABSTRACT

As a critical task for large-scale commercial recommender systems, reranking has shown the potential of improving recommendation results by uncovering mutual influence among items. Reranking rearranges items in the initial ranking lists from the previous ranking stage to better meet users' demands. However, rather than considering the context of initial lists as most existing methods do, an ideal reranking algorithm should consider the counterfactual context -- the position and the alignment of the items in the reranked lists. In this work, we propose a novel pairwise reranking framework, Context-aware Reranking with Utility Maximization for recommendation (CRUM), which maximizes the overall utility after reranking efficiently. Specifically, we first design a utility-oriented evaluator, which applies Bi-LSTM and graph attention mechanism to estimate the listwise utility via the counterfactual context modeling. Then, under the guidance of the evaluator, we propose a pairwise reranker model to find the most suitable position for each item by swapping misplaced item pairs. Extensive experiments on two benchmark datasets and a proprietary real-world dataset demonstrate that CRUM significantly outperforms the state-of-the-art models in terms of both relevance-based metrics and utility-based metrics.

연구 동기 및 목표

• 기존 재정렬 방법이 재정렬 전 맥락을 기반으로 유용성을 평가하여 재정렬 후의 가상의 맥락(Counterfactual Context)을 고려하지 않는 한계를 해결하기 위해.
• 재정렬된 목록에서 항목의 위치 변화와 상호 영향을 고려하여 항목 순열의 진정된 유용성을 모델링하기 위해.
• 모든 n! 순열에 대한 완전 탐색 없이도 전체 유용성을 극대화할 수 있는 효율적이고 확장 가능한 재정렬 프레임워크를 개발하기 위해.
• 초기 순위 목록의 품질에 대한 의존도를 줄이기 위해 초기 목록 맥락 대신 가상의 맥락에 초점을 맞추기 위해.

제안 방법

• 가상의 재정렬 후 항목의 위치와 이웃 항목 상태인 가상의 맥락(즉, 재정렬 후의 가상의 위치 및 정렬 상태)을 기반으로 리스트 기반 유용성을 추정하기 위해 Bi-LSTM와 그래프 주의망을 활용한 유용성 중심 평가기(utility-oriented evaluator)를 제안한다.
• 재정렬된 목록 내 항목 간 관계와 위치 정보를 효과적으로 캡처하기 위해 위치 인식 그래프 임베딩(position-aware graph embedding)을 도입하여 더 나은 맥락 모델링을 구현한다.
• 유용성을 향상시키기 위해 잘못된 위치에 있는 항목 쌍을 식별하고 교환하는 쌍별 재정렬기(pairwise reranker)를 설계하여, 기하급수적 복잡도를 피하기 위해 탐욕적 최적화를 활용한다.
• 암묵적 피드백을 사용하여 평가기와 재정렬기를 공동으로 학습하며, 유용성 추정은 가상의 리스트 구성에 따라 유도된다.
• 성능과 계산 비용의 균형을 고려해, 매 리스트에서 쌍을 교환하여 후보 재정렬 목록을 효율적으로 생성하기 위한 샘플링 전략을 도입한다.
• 이중 단계 학습 과정을 사용한다: 첫 번째 단계에서는 평가기가 다양한 가상의 맥락 하에서 유용성을 예측하도록 학습하고, 두 번째 단계에서는 이러한 예측 기반으로 재정렬기가 목록을 최적화하도록 학습한다.

실험 결과

연구 질문

• RQ1 재정렬 후 맥락을 고려하는 것과 재정렬 전 맥락에 의존하는 것에 비해, 재정렬 모델이 항목 순열의 진정된 유용성을 얼마나 더 잘 추정할 수 있는가?
• RQ2 재정렬 후 항목의 위치와 정렬 상태인 가상의 맥락을 모델링하면, 초기 목록 맥락에 의존하는 것보다 추천 성능이 얼마나 향상되는가?
• RQ3 완전한 순열 탐색 없이도 쌍별 재정렬 전략이 리스트 기반 유용성을 효과적으로 최적화할 수 있는가?
• RQ4 제안된 프레임워크는 열악한 초기 순위 목록에 대해 얼마나 강건한가? 그리고 초기 순위자 품질에 대한 의존도가 줄어드는가?

주요 결과

• CRUM은 두 개의 공개 데이터셋(Yahoo 및 MSLR)과 하나의 기업 전용 산업 데이터셋에서 관련성 기반 메트릭(e.g., MAP)과 유용성 기반 메트릭(e.g., CTR) 모두에서 최신 기술 모델을 크게 능가한다.
• 제거 실험 결과 Bi-LSTM나 그래프 주의망 기반 메커니즘이 제거될 경우 성능 저하가 발생함을 확인하여, 이들이 가상의 맥락을 모델링하는 데 핵심적인 역할을 한다는 것을 입증한다.
• 초기 순위가 열악한 경우(예: 무작위 또는 역순)에도 안정적인 성능 유지를 보이며, 초기 순위자 품질에 대한 의존도가 낮아졌음을 시사한다.
• 리스트당 10개의 쌍을 샘플링할 경우 성능과 학습 비용의 최적 균형을 달성하며, 10개 이상의 샘플링에서는 메트릭이 안정화됨을 확인했다.
• 쌍별 재정렬기는 기하급수적 복잡도 없이도 효율적으로 유용성을 향상시켜 실생활 환경에서의 확장성과 효과성을 입증한다.
• 특히 유용성 기반 메트릭에서 강력한 베이스라인인 PRM 및 DLCM이 성능을 발휘하지 못하는 상황에서도 CRUM은 뛰어난 성능을 기록하며 수익 및 클릭 수 극대화 측면에서의 우수성을 입증한다.