[논문 리뷰] Offline Evaluation for Reinforcement Learning-based Recommendation: A Critical Issue and Some Alternatives

Romain Deffayet, Thibaut Thonet외 2명|arXiv (Cornell University)|2023. 01. 03.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 강화학습(RL)-기반 추천 시스템을 평가하는 데 널리 사용되는 표준 다음 항목 예측(NIP) 프로토콜을 비판하며, RL의 장기적 최적화 이점을 반영하지 못하고 심각한 결함을 가림으로써 배포 위험을 증가시킨다고 주장한다. 오프라인 RL 추천에서 생태학적 타당성과 배포 안정성을 높이기 위해 불확실성 인식 평가 및 내지지 정책 평가와 같은 보다 바람직한 평가 방법을 제안한다.

ABSTRACT

In this paper, we argue that the paradigm commonly adopted for offline evaluation of sequential recommender systems is unsuitable for evaluating reinforcement learning-based recommenders. We find that most of the existing offline evaluation practices for reinforcement learning-based recommendation are based on a next-item prediction protocol, and detail three shortcomings of such an evaluation protocol. Notably, it cannot reflect the potential benefits that reinforcement learning (RL) is expected to bring while it hides critical deficiencies of certain offline RL agents. Our suggestions for alternative ways to evaluate RL-based recommender systems aim to shed light on the existing possibilities and inspire future research on reliable evaluation protocols.

연구 동기 및 목표

• RL 기반 추천 시스템을 평가하는 데 널리 사용되는 다음 항목 예측(NIP) 프로토콜의 임계적인 결함을 규명하는 것.
• NIP가 RL이 달성하고자 하는 장기적 최적화 이점을 반영하지 못함을 입증하는 것.
• NIP가 오프라인 RL 에이전트의 결함을 가림으로써 배포 실패 위험을 증가시킬 수 있는 방식을 드러내는 것.
• 순차적 추천에서 RL의 진정한 목표와 더 잘 부합하는 대체 평가 방법론을 제안하는 것.
• 추천 연구 공동체가 오프라인 RL 에이전트에 대해 더 견고하고 불확실성 인식 평가 관행을 채택하도록 장려하는 것.

제안 방법

• 한 번의 다음 항목 예측이 아닌, 전체 사용자 시퀀스에 걸친 기대 누적 보상 기반으로 RL 정책을 평가하는 것을 제안한다.
• 로그 기록 정책의 지지 영역 내에서 성능를 정량화함으로써 불확실성 인식 평가를 도입하여 분포 이탈 위험을 줄인다.
• 오프라인 데이터셋에서 관측된 상태-행동 쌍에서의 성능를 추정하기 위해 내지지 정책 평가를 사용하여 분포 이탈 문제를 최소화한다.
• 분포 일치 및 보류된 테스트 세트에서의 Q-값 추정과 같은 오프라인 RL 문헌의 기법을 활용하여 정책 신뢰도를 평가한다.
• Fujimoto 등(2019)과 Kumar 등(2021)의 기법을 활용하여 정책 지지 영역 내에서의 불확실성에 대한 내성 수준을 정의하고 조정한다.
• Oosterhuis & de Rijke(2021)와 Ghosh 등(2022)의 영감을 받아 위험 정량화와 후속 메커니즘을 조합하여 견고한 배포를 위한 전략을 제안한다.

실험 결과

연구 질문

• RQ1 왜 다음 항목 예측(NIP) 프로토콜은 RL 기반 추천 시스템 평가에 부적절한가?
• RQ2 NIP 프로토콜은 순차적 추천에서 RL의 장기적 최적화 목표를 어떻게 반영하지 못하는가?
• RQ3 NIP 프로토콜은 오프라인 RL 에이전트의 임계적인 결함을 어떻게 가리며, 이로 인해 배포 실패가 발생할 수 있는가?
• RQ4 오프라인 환경에서 RL 기반 추천 시스템의 진정한 성능과 위험을 더 잘 반영할 수 있는 대체 평가 프로토콜은 무엇인가?
• RQ5 불확실성 정량화와 내지지 평가가 오프라인 RL 정책 평가의 신뢰도를 어떻게 향상시킬 수 있는가?

주요 결과

• 다음 항목 예측(NIP) 프로토콜은 시야가 짧고, RL이 목표로 하는 장기적 누적 보상 최적화를 평가하지 못한다.
• NIP는 특히 분포 이탈 상태-행동 쌍에서 오프라인 RL 에이전트의 결함을 가리므로 치명적인 배포 위험을 증가시킨다.
• 이 프로토콜은 최적화기의 오류에 민감하여 하이퍼파라미터 튜닝 시 선택 편향으로 인해 성능을 과대평가할 수 있다.
• 로그 기록 정책의 지지 영역 내에서의 불확실성 인식 평가는 더 신뢰할 수 있는 성능 추정과 배포 위험 감소를 가능하게 한다.
• 내지지 영역 내에서 높은 기대 수익을 달성하는 정책는 더 신뢰할 수 있으며, 배포 우선순위에 올릴 수 있다.
• 현재로선 RL 기반 추천 시스템에 대해 완전히 만족스러운 오프라인 평가 방법이 없지만, 불확실성 인식 평가와 내지지 평가는 온라인 성능에 대한 신뢰할 수 있고 더 안전한 대체 측정 기준이 될 수 있다.