[논문 리뷰] Large-scale Interactive Recommendation with Tree-structured Policy Gradient

Haokun Chen, Xinyi Dai외 6명|arXiv (Cornell University)|2018. 11. 14.

Recommender Systems and Techniques참고 문헌 25인용 수 10

한 줄 요약

이 논문은 대규모 상호작용 추천을 위해 항목에 대한 균형 잡힌 계층적 클러스터링 트리를 사용하는 강화학습 프레임워크인 트리 구조 정책 그래เดียน트 추천(TPGR)을 제안한다. 항목 선택을 루트에서 리프로의 경로 탐색 문제로 공식화함으로써 결정 시간 복잡도를 O(|A|)에서 O(|A|^{1/d})로 감소시킨다. TPGR는 실제 데이터셋에서 최신 기술 대비 뛰어난 추천 성능과 뚜렷한 효율성 향상을 달성한다.

ABSTRACT

Reinforcement learning (RL) has recently been introduced to interactive recommender systems (IRS) because of its nature of learning from dynamic interactions and planning for long-run performance. As IRS is always with thousands of items to recommend (i.e., thousands of actions), most existing RL-based methods, however, fail to handle such a large discrete action space problem and thus become inefficient. The existing work that tries to deal with the large discrete action space problem by utilizing the deep deterministic policy gradient framework suffers from the inconsistency between the continuous action representation (the output of the actor network) and the real discrete action. To avoid such inconsistency and achieve high efficiency and recommendation effectiveness, in this paper, we propose a Tree-structured Policy Gradient Recommendation (TPGR) framework, where a balanced hierarchical clustering tree is built over the items and picking an item is formulated as seeking a path from the root to a certain leaf of the tree. Extensive experiments on carefully-designed environments based on two real-world datasets demonstrate that our model provides superior recommendation performance and significant efficiency improvement over state-of-the-art methods.

연구 동기 및 목표

• 기존 강화학습 기반 상호작용 추천 시스템이 수천 개의 항목을 포함하는 큰 이산 행동 공간을 처리할 때 효율성이 떨어지는 문제를 해결하기 위해.
• DDPG에서의 연속 행동 표현과 실제 추천에서의 이산 행동 간의 일관성 없는 문제를 제거하기 위해.
• 장기적 계획과 상호작용 환경에서의 동적 사용자 피드백을 지원하는 확장 가능하고 효율적이며 효과적인 정책 그래디언트 프레임워크를 설계하기 위해.
• 실제 데이터셋에서 구축한 시뮬레이터를 사용하여 방법을 검증함으로써 추천 성능과 효율성에 대한 현실적인 평가를 확보하기 위해.

제안 방법

• 항목에 대한 균형 잡힌 계층적 클러스터링 트리를 구성하여, 루트에서 리프로의 각 경로가 유일한 항목을 나타내도록 하며, 깊이 d를 통해 행동 공간 복잡도를 O(|A|^{1/d})로 감소시킨다.
• 트리 구조 상에서 정책 그래디언트를 기반으로 확률적 정책을 모델링하여, 각 트리 수준에서 순차적 행동 선택을 통해 효율적인 의사결정을 가능하게 한다.
• 다중 수준 정책 네트워크를 활용: 각 내부 노드는 자식 노드에 대한 행동 확률을 출력하는 완전 연결 네트워크를 사용하며, 최종 리프 노드는 특정 항목에 대응한다.
• 트리 구조를 구축하기 위해 K-means 기반 및 PCA 기반의 두 가지 클러스터링 방법을 사용하여 균형 잡힌 분할과 균일한 깊이를 보장한다.
• 연속 보상을 이방향 벡터로 변환하는 보상 매핑 함수를 적용하여 정책 그래디언트 업데이트의 안정성을 향상시킨다.
• 실제 데이터셋 기반의 시뮬레이터를 도입하여 훈련 및 평가를 위한 상호작용 환경을 생성한다.

실험 결과

연구 질문

• RQ1 트리 구조 정책 그래디언트 프레임워크는 상호작용 추천에서 큰 이산 행동 공간의 계산 복잡도를 효과적으로 감소시킬 수 있는가?
• RQ2 제안된 TPGR 프레임워크는 추천 정확도와 추론 효율성 측면에서 기존 DQN 및 DDPG 기반 방법보다 뛰어나게 성능을 발휘하는가?
• RQ3 항목의 계층적 클러스터링은 상호작용 환경에서 학습된 정책의 일반화 능력과 안정성에 어떤 영향을 미치는가?
• RQ4 TPGR 프레임워크는 다양한 항목 및 사용자 분포를 가진 실제 데이터셋에서 높은 성능을 유지를 할 수 있는가?
• RQ5 다른 클러스터링 전략(K-means 대비 PCA)은 최종 추천 품질과 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• TPGR는 두 개의 실제 데이터셋에서 최신 기술 대비 뛰어난 추천 성능을 달성하였으며, 정밀도 및 재현율 지표에서 뚜렷한 향상을 보였다.
• TPGR의 추론 시간은 항목 수에 대해 비선형적으로 증가하며, O(|A|)에서 O(|A|^{1/d})로 감소한다. 일반적으로 d = 2로 설정되므로 대규모 항목 집합에서 거의 일정한 시간 내에 결정이 이루어진다.
• 고차원 항목 임베딩 공간에서 K-means 기반 클러스터링 모듈이 PCA 기반 변형보다 추천 정확도에서 뛰어나게 성능을 발휘하였다.
• 보상 매핑 함수는 연속 보상을 이방향 벡터로 변환함으로써 정책 그래디언트 업데이트의 안정성을 효과적으로 향상시켜 훈련 수렴을 개선했다.
• 광범위한 아블레이션 연구를 통해 계층적 트리 구조와 다중 수준 정책 설계가 효율성 및 성능 향상에 필수적임을 확인하였다.
• 시뮬레이터 기반 평가 결과, TPGR는 다양한 사용자 상호작용 패턴에 대해 잘 일반화되며, 다양한 탐색-이용 균형 조건에서도 강건성을 유지함을 입증하였다.