[논문 리뷰] A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions

Xiaocong Chen, Lina Yao외 3명|arXiv (Cornell University)|2021. 09. 08.

Reinforcement Learning in Robotics참고 문헌 134인용 수 20

한 줄 요약

이 종합적 서베이는 추천 시스템에서의 딥 강화학습(DRL)에 대해 종합적이고 체계적인 검토를 제공하며, 기존 방법들을 분류하고 그 강점과 한계를 분석하며, 새로운 추세와 열린 과제를 규명한다. 통합된 분류 체계를 제시하고, A2C, TD3, SAC와 같은 핵심 DRL 알고리즘을 강조하며, 상호작용적이고 동적인 추천 시스템을 발전시키기 위한 향후 연구 방향을 제시한다.

ABSTRACT

In light of the emergence of deep reinforcement learning (DRL) in recommender systems research and several fruitful results in recent years, this survey aims to provide a timely and comprehensive overview of the recent trends of deep reinforcement learning in recommender systems. We start with the motivation of applying DRL in recommender systems. Then, we provide a taxonomy of current DRL-based recommender systems and a summary of existing methods. We discuss emerging topics and open issues, and provide our perspective on advancing the domain. This survey serves as introductory material for readers from academia and industry into the topic and identifies notable opportunities for further research.

연구 동기 및 목표

• 기존 서베이에서 DRL에 특화된 기법에 대한 깊이 있는 분석이 부족한 점을 보완하고, 추천 시스템에 응용된 딥 강화학습(DRL)에 대한 시의적이고 체계적인 개요를 제공하기 위해.
• 정적 훈련 데이터와 분포 이탈 문제로 인해 전통적인 딥 러닝 기반 추천 시스템이 동적인 사용자 선호도를 포착하는 데 한계가 있다는 점을 해결하기 위해.
• 메서드론적 차이와 설계 선택을 명확히 하기 위해, 새로운 체계적인 분류 체계를 사용해 기존 DRL 기반 추천 시스템을 분류하고 분석하기 위해.
• 오프라인 DRL, 메타-DRL, 액터-크리틱 개선과 같은 새로운 주제를 규명하고, 일반화, 탐색, 실세계 구현과 같은 열린 과제를 강조하기 위해.
• 연구자와 실무자에게 도움이 되도록, 향후 연구 방향을 제시하기 위해 — 특히 일반화 향상, 샘플 효율성, 그리고 동적 환경에서의 강인성 향상에 중점을 두어.

제안 방법

• 환경 구성, 상태 표현, 정책 학습 메커니즘 기반으로 DRL 기반 추천 시스템의 분류 체계를 제안한다.
• 우선순위 기반 액터-크리틱 알고리즘인 A2C, TD3, TRPO, PPO, SAC를 검토하며, 훈련 안정성 향상과 샘플 효율성 향상에 기여하는 역할을 강조한다.
• 오프라인 DRL(배치 DRL)을 분석하여, 온라인 상호작용 없이도 역사적 상호작용 데이터로부터 훈련할 수 있도록 하여, 새로운 시나리오로의 일반화를 가능하게 한다.
• 메타-DRL을 탐구하며, RNN 등 메모리 유닛을 사용해 작업 간 지식을 저장하고 전이함으로써 데이터 요구량을 줄이고, 소수의 샘플에서의 적응 능력을 향상시킨다.
• SAC에서처럼 이점 함수와 엔트로피 정규화를 사용해 정책 학습 중 탐색과 이용의 균형을 맞추는 방법을 분석한다.
• 오프-폴리시 및 온-폴리시 훈련 프레임워크의 통찰을 통합하여, 데이터 가용성과 상호작용 제약 조건에 따라 추천 작업에 적합한 방식을 비교한다.

실험 결과

연구 질문

• RQ1 딥 강화학습는 정적 훈련 데이터에서 발생하는 분포 이탈 문제를 극복하고, 시간이 지남에 따라 변화하는 동적인 사용자 선호도를 효과적으로 모델링할 수 있는가?
• RQ2 성공적인 DRL 기반 추천 시스템을 구분짓는 주요 아키텍처 및 알고리즘 구성 요소는 무엇이며, 성능과 안정성에 기여하는 방식은 무엇인가?
• RQ3 오프라인 및 메타-DRL 접근법은 실시간 상호작용이 제한되거나 전혀 없는 추천 시스템에서 일반화 능력과 샘플 효율성을 어떻게 향상시키는가?
• RQ4 실세계 추천 시스템에 DRL를 적용할 때 주요 과제는 무엇인가, 특히 탐색-이용 간 균형, 정책 안정성, 확장성 측면에서의 과제는 무엇인가?
• RQ5 실제 산업 환경에서의 구현을 고려할 때, 강인성, 해석 가능성, 그리고 배포 능력 향상 측면에서 DRL 기반 추천 시스템을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 이 서베이는 추천 시스템에서의 DRL에 대해 종합적이고 체계적인 검토를 제공하는 첫 번째 연구로, 기존 방법들을 체계적으로 분류하고 분류 체계를 제시한다.
• A2C, TD3, PPO, SAC와 같은 액터-크리틱 방법은 기본 정책 기반 강화학습 방법에 비해 훈련 안정성과 샘플 효율성을 크게 향상시킨다.
• 오프라인 DRL은 온라인 상호작용 없이도 대규모 역사적 데이터셋에서 훈련할 수 있게 하여, 실시간 배포가 비용이 많이 들거나 위험한 산업 응용에 적합하다.
• 메타-DRL은 메모리 메커니즘을 활용해 작업 간 지식을 전이함으로써 소수의 샘플에서의 적응 능력을 향상시켜, 데이터 의존도를 줄이며 잠재력을 보여준다.
• SAC의 엔트로피 정규화는 탐색 능력을 향상시켜, 보상이 희박하거나 행동 공간이 복잡한 환경에서 특히 효과적이다.
• 진전이 있었음에도 불구하고, 분포 이탈 처리, 정책 일반화 보장, 실세계의 동적 추천 시나리오에서의 강인한 성능 달성 등의 과제가 여전히 남아 있다.