[논문 리뷰] Deep reinforcement learning for search, recommendation, and online advertising: a survey

Xiangyu Zhao, Long Xia외 2명|arXiv (Cornell University)|2018. 12. 18.

Advanced Bandit Algorithms Research인용 수 44

한 줄 요약

깊은 강화학습이 검색, 추천, 온라인 광고에 어떻게 적용되는지에 대한 포괄적 조사로, 기초 이론, 대표 알고리즘, 응용 분야 및 미래 방향을 상세히 다룹니다.

ABSTRACT

Search, recommendation, and online advertising are the three most important information-providing mechanisms on the web. These information seeking techniques, satisfying users' information needs by suggesting users personalized objects (information or services) at the appropriate time and place, play a crucial role in mitigating the information overload problem. With recent great advances in deep reinforcement learning (DRL), there have been increasing interests in developing DRL based information seeking techniques. These DRL based techniques have two key advantages -- (1) they are able to continuously update information seeking strategies according to users' real-time feedback, and (2) they can maximize the expected cumulative long-term reward from users where reward has different definitions according to information seeking applications such as click-through rate, revenue, user satisfaction and engagement. In this paper, we give an overview of deep reinforcement learning for search, recommendation, and online advertising from methodologies to applications, review representative algorithms, and discuss some appealing research directions.

연구 동기 및 목표

• 정보 탐구 과제에서 동적 사용자 선호를 해결하기 위해 강화 학습의 사용을 촉진한다.
• 검색, 추천, 광고에서의 강화 학습의 방법론적 기초를 요약하며, MABs, MDPs, POMDPs 및 정책 학습을 포함한다.
• 세 분야인 검색, 추천, 온라인 광고에서 대표적인 DRL 알고리즘과 시스템을 검토한다.
• RL 기반 정보 탐구 시스템을 발전시키기 위한 도전과제와 향후 방향을 논의한다.

제안 방법

• RL의 기술적 기초와 문제 형식화(MAB, MDP, POMDP, 다중 에이전트 환경)을 제시한다.
• 모델 기반 vs. 모델 프리 RL 및 가치 기반 vs. 정책 기반 접근법(Q-학습, DQN, Actor-Critic)의 차이를 구분한다.
• 검색 과제에서의 RL 응용을 조사한다: 질의 이해, 순위 결정, 전체 페이지 최적화, 세션 검색.
• 추천에서의 RL 응용을 조사한다: 활용/탐색, 시간적 역학, 장기적 참여, 페이지 단위 추천.
• 온라인 광고에서의 RL 응용을 조사한다: 보장 전달 및 실시간 입찰, 모델 기반 및 모델 프리 접근 포함.

실험 결과

연구 질문

• RQ1 검색, 추천, 광고 작업에서 RL 프레임워크가 동적 사용자 행동을 어떻게 모델링할 수 있는가?
• RQ2 각 정보 탐구 도메인에서 효과적인 핵심 RL 알고리즘과 아키텍처는 무엇인가?
• RQ3 검색, 추천, 온라인 광고에 DRL을 적용할 때 남아 있는 도전과제는 무엇이며, 향후 연구에 어떤 방향이 유망한가?
• RQ4 검색, 추천, 광고 간의 교차 도메인 협력이 RL을 통해 어떻게 활용될 수 있는가?

주요 결과

• 본 조사는 정보 탐구와 관련된 핵심 RL 기초를 요약하며, MABs, MDPs, POMDPs 및 다중 에이전트 구성을 포함한다.
• 검색 및 추천에서 순위 결정, 다양성, 세션 모델링, 페이지 표시를 위한 대표 DRL 방법을 요약한다.
• 입찰, 예산 관리, 협력/다중 에이전트 접근법 등 온라인 광고에 대한 DRL 기반 전략을 검토한다.
• 장기 보상과 사용자 참여의 중요성을 즉시 클릭이나 노출을 넘어선 벤치마크로 강조한다.
• 교차 시나리오 협력 RL, 더 풍부한 보상 설계, 확장된 사용자–에이전트 상호작용, 오프라인/온라인 평가 도구와 같은 향후 방향을 논의한다.