[논문 리뷰] A Next Basket Recommendation Reality Check

Ming Li, Sami Jullien외 2명|arXiv (Cornell University)|2021. 09. 29.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 다음 바구니 추천(NBR) 방법에 대해 철저하고 공정한 평가를 수행하여, 문헌에서 보고된 성능 향상이 반복보다 탐색에 대한 편향된 초점으로 인해 종종 오해의 소지가 있음을 드러낸다. 반복과 탐색의 균형을 측정하기 위한 새로운 지표를 제안하며, 반복 항목 예측은 탐색보다 훨씬 쉬운 것으로 밝혀졌고, 딥러닝 모델은 탐색 측면에서 성능이 열등함을 확인하여, 반복과 탐색 전략을 별도로 설계하는 임무 지향적 모델 설계의 필요성을 제기한다.

ABSTRACT

The goal of a next basket recommendation (NBR) system is to recommend items for the next basket for a user, based on the sequence of their prior baskets. Recently, a number of methods with complex modules have been proposed that claim state-of-the-art performance. They rarely look into the predicted basket and just provide intuitive reasons for the observed improvements, e.g., better representation, capturing intentions or relations, etc. We provide a novel angle on the evaluation of next basket recommendation methods, centered on the distinction between repetition and exploration: the next basket is typically composed of previously consumed items (i.e., repeat items) and new items (i.e, explore items). We propose a set of metrics that measure the repeat/explore ratio and performance of NBR models. Using these new metrics, we analyze state-of-the-art NBR models. The results of our analysis help to clarify the extent of the actual progress achieved by existing NBR methods as well as the underlying reasons for the improvements. Overall, our work sheds light on the evaluation problem of NBR and provides useful insights into the model design for this task.

연구 동기 및 목표

• 보고된 NBR 방법의 성능 향상이 다양한 데이터셋과 지표를 통해 공정하고 종합적인 평가 조건에서 실제로 유지되는지 비판적으로 평가하는 것.
• 일관되지 않은 기준 모델, 표준화되지 않은 지표, 데이터셋의 이질성 등 기존 NBR 평가 관행의 결함을 규명하는 것.
• 추천 바구니 내 반복(반복)과 탐색(발견) 항목 간의 차이를 중심으로 한 새로운 평가 프레임워크를 제안하는 것.
• 다양한 NBR 모델이 반복 대비 탐색 작업에서 어떻게 다른지 분석함으로써 어떤 모델이 더 우수한 성능을 내는지에 대한 통찰을 제공하는 것.
• 사용자 선호도를 고려해 반복과 탐색을 별개의 하위 작업으로 간주하고, 서로 다른 모델링 요구사항을 충족시키기 위한 향후 NBR 모델 설계 지침을 제시하는 것.

제안 방법

• 저자는 빈도 기반, 최근접 이웃 기반, 딥러닝 기반의 세 가지 NBR 모델 유형을 세 가지 벤치마크 데이터셋에서 대규모 비교를 수행한다.
• 추천 바구니 내 반복/탐색 비율을 정량화하기 위한 새로운 임무 지향 지표를 도입하여, 모델이 이전에 소비한 항목을 얼마나 잘 예측하는지와 새로운 항목을 얼마나 잘 예측하는지 측정한다.
• 사용자 수준의 성능 분해를 포함하여, 특히 반복 항목 대 탐색 항목 추천 측면에서 다양한 사용자 그룹의 행동을 분석한다.
• 재현 가능성을 확보하고 재구현 편향을 방지하기 위해 출판된 모델의 원본 구현을 사용한다.
• 빈도와 최종 소비 시점 기반의 반복 항목 예측의 어려움과 항목 상관관계를 모델링이 필요한 탐색 항목 예측의 어려움을 구분한다.
• 이중 경로 모델 설계 전략을 제안한다: 반복에는 빈도/최근성 정보를, 탐색에는 신경망을 사용하여 두 요소 간의 조절 가능한 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 최신 NBR 방법의 보고된 성능 향상은 여러 데이터셋과 지표를 통해 공정하고 종합적인 평가 조건에서도 유지되는가?
• RQ2 기존 NBR 모델이 반복 항목 추천에 대해 얼마나 편향되어 있으며, 탐색 항목 추천에 대해 얼마나 영향을 받는가? 이는 장기적인 사용자 참여도에 어떤 영향을 미치는가?
• RQ3 빈도 기반, 최근접 이웃, 딥러닝 기반의 다양한 NBR 모델 유형이 각각 반복 및 탐색 하위 작업에서 어떻게 성능을 내는가?
• RQ4 반복 항목과 탐색 항목 추천 간의 성능 격차는 임상적인 작업 난이도와 모델 용량의 본질적 차이로 설명될 수 있는가?
• RQ5 사용자 선호도를 바탕으로 반복과 탐색을 별개의 하위 작업으로 간주할 때, 향후 NBR 모델 설계에 따라 반복과 탐색을 더 효과적으로 균형 잡기 위한 설계 원칙은 무엇인가?

주요 결과

• 모든 NBR 방법이 모든 데이터셋에서 일관되게 다른 방법을 압도하지는 않으며, 이는 방법 성능가 데이터셋에 매우 의존적임을 시사한다.
• 모든 평가된 NBR 방법이 반복에 크게 편향되어 있으며, 반복 항목에 대한 성능이 탐색 항목에 비해 뚜렷이 높다. 이는 작업 난이도에 근본적인 불균형이 있음을 시사한다.
• 반복 항목 추천는 탐색보다 훨씬 쉬운 작업이며, 성능 격차는 현재 모델이 새로운 항목을 탐색하는 데 충분히 대응하지 못하고 있음을 시사한다.
• 딥러닝 기반 NBR 모델은 단순 기준 모델에 비해 탐색 작업에서 성능이 열등하다. 이는 복잡한 모델이 항상 NBR에 더 나은 성능을 내는 것으로 간주되는 가정을 도전한다.
• 제안된 반복/탐색 지표는 사용자가 이전에 탐색 기록이 있음에도 불구하고도 모델이 새로운 항목을 추천하지 못하는 경우가 많음을 드러내어 현재 평가 및 설계의 심각한 격차를 노출시킨다.
• 반복과 탐색을 모델 설계에서 분리함으로써 빈도/최근성 정보를 반복에, 신경망을 탐색에 사용하는 전략은 더 효과적이고 제어 가능한 NBR 시스템을 가능하게 한다.