[論文レビュー] Deep Reinforcement Learning with a Combinatorial Action Space for Predicting Popular Reddit Threads

Ji He, Mari Ostendorf+5 more|arXiv (Cornell University)|Jun 12, 2016

Hate Speech and Cyberbullying Detection参考文献 37被引用数 9

ひとこと要約

本稿では、自然言語コメントから構成される組み合わせ的行動空間を用いて、人気のあるRedditスレッドの予測と追跡を目的とした深層強化学習フレームワークを提案する。双方向LSTMを用いて部分的行動同士の依存関係をモデル化することで、DRRN-BiLSTMアーキテクチャは、推薦件数の変動にかかわらず優れた性能と一般化能力を達成し、平均カーマ獲得量と要請サイズの変化に対するロバスト性において、ベースラインを上回る。

ABSTRACT

We introduce an online popularity prediction and tracking task as a benchmark task for reinforcement learning with a combinatorial, natural language action space. A specified number of discussion threads predicted to be popular are recommended, chosen from a fixed window of recent comments to track. Novel deep reinforcement learning architectures are studied for effective modeling of the value function associated with actions comprised of interdependent sub-actions. The proposed model, which represents dependence between sub-actions through a bi-directional LSTM, gives the best performance across different experimental configurations and domains, and it also generalizes well with varying numbers of recommendation requests.

研究の動機と目的

• 自然言語状態と組み合わせ的行動を用いたソーシャルメディアのトレンド検出のための強化学習ベンチマークタスクの開発。
• 長期的人気予測のための組み合わせ的行動空間における部分的行動（コメント）同士の依存関係をモデル化する課題の解決。
• 相互に依存する自然言語行動の集合に対するQ値を効果的に推定できる深層Q学習アーキテクチャの設計。
• 再訓練なしに、推薦スレッド数（K）の変動にわたる一般化性能の評価。
• コメント間の冗長性および時間的依存性をモデル化することの、予測性能への影響の調査。

提案手法

• 人気予測を、最近の投稿から固定ウィンドウ内のコメントの集合を選択する行動として定義する逐次意思決定問題として定式化する。
• 部分的行動（コメント）同士の依存関係を符号化するため、双方向LSTMを用いた新規の深層Qネットワークアーキテクチャ、DRRN-BiLSTMを提案する。
• 部分的行動の統合的価値表現を計算し、双方向コンテキストモデリングによって冗長性と相互依存性を捉える。
• 経験再生とターゲットネットワークを用いた深層Q学習により価値関数を訓練し、カーマスコアをスパarsely遅延報酬として使用する。
• ベースラインモデルには線形行動価値推定、PA-DQN、DRRN-Sum（部分的行動の平均プーリング）を含み、比較に用いる。
• 性能は複数のサブレddit（例：r/askscience）のRedditデータ上で評価され、ベースラインに対する平均カーマ獲得量で測定される。

実験結果

リサーチクエスチョン

• RQ1 自然言語状態と行動のみを用いて、深層強化学習モデルは人気のあるRedditスレッドを効果的に予測・追跡できるか？
• RQ2 双方向LSTMは、組み合わせ的行動空間における部分的行動（コメント）同士の依存関係をどれほど適切に捉えられるか？
• RQ3 提案されたモデルは、再訓練なしに、異なる数の推薦スレッド（K）に一般化できるか？
• RQ4 部分的行動の冗長性をモデル化することで、結合行動集合の推定価値にどのような影響を与えるか？
• RQ5 遅延フィードバック下での長期的人気予測において、線形および標準DQNベースラインを上回ることができるか？

主な発見

• DRRN-BiLSTMモデルは、複数のサブレdditおよび実験設定において、すべてのベースラインを平均カーマスコア獲得量で一貫して上回る。
• N=10、K=3のr/askscienceにおいて、DRRN-BiLSTMは平均カーマ獲得量829.9を達成し、線形ベースライン（538.5）およびPA-DQNを顕著に上回った。
• モデルは良好に一般化される：K=3で学習し、K=2,4,5でテストした場合でも、各K値に特化して訓練されたベースラインを上回った。
• 極めて冗長な例では、DRRN-BiLSTMは行動価値を26%相対的に増加させたが、DRRN-Sumは86%増加にとどまった。これは、部分的行動の依存関係をより効果的にモデル化していることを示唆する。
• 双方向LSTM部は、コメント間の依存関係を効果的に捉えており、冗長性の影響を軽減し、価値推定を改善している。
• 異なるテキストジャンルおよびサブレdditのスタイルにわたって一般化が可能であることが示され、多様なサブレddit（言語やカーマ分布が異なる）において一貫した性能を発揮した。