[論文レビュー] Large-scale Interactive Recommendation with Tree-structured Policy Gradient

Haokun Chen, Xinyi Dai+6 more|arXiv (Cornell University)|Nov 14, 2018

Recommender Systems and Techniques参考文献 25被引用数 10

ひとこと要約

本稿では、アイテムのバランスの取れた階層的クラスタリングツリーを用いて大規模なインタラクティブ推薦をモデル化する強化学習フレームワーク、Tree-structured Policy Gradient Recommendation (TPGR) を提案する。アイテム選択をルートからリーフへのパス探索問題として定式化することにより、意思決定の時間計算量を O(|A|) から O(|A|^{1/d}) に削減する。TPGR は、実世界のデータセット上で最先端の推薦性能と顕著な効率性の向上を達成する。

ABSTRACT

Reinforcement learning (RL) has recently been introduced to interactive recommender systems (IRS) because of its nature of learning from dynamic interactions and planning for long-run performance. As IRS is always with thousands of items to recommend (i.e., thousands of actions), most existing RL-based methods, however, fail to handle such a large discrete action space problem and thus become inefficient. The existing work that tries to deal with the large discrete action space problem by utilizing the deep deterministic policy gradient framework suffers from the inconsistency between the continuous action representation (the output of the actor network) and the real discrete action. To avoid such inconsistency and achieve high efficiency and recommendation effectiveness, in this paper, we propose a Tree-structured Policy Gradient Recommendation (TPGR) framework, where a balanced hierarchical clustering tree is built over the items and picking an item is formulated as seeking a path from the root to a certain leaf of the tree. Extensive experiments on carefully-designed environments based on two real-world datasets demonstrate that our model provides superior recommendation performance and significant efficiency improvement over state-of-the-art methods.

研究の動機と目的

• 大規模な離散的行動空間（例：数千のアイテム）を扱う際の、既存のRLベースのインタラクティブレコメンデーションシステムの非効率性を解消すること。
• DDPGにおける連続的行動表現と、実際の推薦における離散的行動との不整合を解消すること。
• 長期的な計画と動的なユーザーフィードバックをサポートするスケーラブルで効率的かつ効果的なポリシー勾配フレームワークを設計すること。
• 実世界のデータセットから構築したシミュレータを用いて、推薦性能と効率性の両面で現実的かつ妥当な評価を実施すること。

提案手法

• アイテムのバランスの取れた階層的クラスタリングツリーを構築し、ルートからリーフへの各パスが一意のアイテムを表すようにする。これにより、行動空間の複雑度を深さ d を用いて O(|A|^{1/d}) に低減する。
• ツリー構造上での確率的ポリシー勾配として推薦ポリシーをモデル化し、各ツリー段階で逐次的な行動選択により効率的な意思決定を実現する。
• 多段階ポリシーネットワークを採用：各内部ノードは全結合ネットワークを用いて子ノードへの行動確率を出力し、最終的なリーフノードが特定のアイテムに対応する。
• ツリー構造の構築に K-means を用いた手法と PCA を用いた手法の両方を採用し、バランスの取れた分割と均一な深さを確保する。
• 連続的報酬を安定したポリシー勾配更新のための one-hot ベクトルに変換する報酬マッピング関数を適用する。
• 実世界のデータセットに基づいたシミュレータを導入し、学習および評価のためのインタラクティブ環境を生成する。

実験結果

リサーチクエスチョン

• RQ1 ツリー構造のポリシー勾配フレームワークは、インタラクティブレコメンデーションにおける大規模な離散的行動空間の計算複雑度を効果的に低減できるか？
• RQ2 提案された TPGR フレームワークは、DQN や DDPG を用いた既存手法に比べ、推薦精度と推論効率の両面で優れているか？
• RQ3 アイテムの階層的クラスタリングは、インタラクティブな設定における学習済みポリシーの一般化性と安定性にどのように影響するか？
• RQ4 異なるアイテム数およびユーザーデータ分布を示す多様な実世界データセットにおいて、TPGR フレームワークは高い性能を維持できるか？
• RQ5 異なるクラスタリング戦略（K-means と PCA）の違いが、最終的な推薦品質および学習の安定性に与える影響は何か？

主な発見

• TPGR は、2つの実世界データセットにおいて最先端の手法に比べ優れた推薦性能を達成し、精度と再現率の両方で顕著な向上を示した。
• TPGR の推論時間はアイテム数に対して部分線形にスケーリングされ、O(|A|) から O(|A|^{1/d}) に削減される。d は通常 2 に設定され、大規模なアイテムセットにおいてほぼ定数時間の意思決定が達成される。
• 高次元のアイテム埋め込み空間において、K-means を用いたクラスタリングモジュールが PCA を用いたバージョンを上回る推薦精度を示した。
• 報酬マッピング関数により、連続的報酬を離散的一括ベクトルに変換することで、ポリシー勾配の更新が安定化され、学習収束が向上した。
• 広範なアブレーションスタディの結果、階層的ツリー構造と多段階ポリシーデザインが、効率性および性能向上の両面で不可欠であることが確認された。
• シミュレータを用いた評価から、TPGR は多様なユーザーアクティビティパターンに一般化でき、探索と活用のトレードオフの変化に対しても頑健であることが示された。