[論文レビュー] Playing 20 Question Game with Policy-Based Reinforcement Learning

Huang Hu, Xianchao Wu+5 more|arXiv (Cornell University)|Aug 23, 2018

Multimodal Machine Learning Applications参考文献 9被引用数 4

ひとこと要約

本論文は、知識ベースや設計済みヒューリスティクスに依存せずに最適な質問選択を学習できる、20質問ゲーム向けのポリシーに基づく強化学習フレームワークを提案する。報酬ネットワークを用いて即時の情報量が多い報酬を推定し、ポリシーネットワークを用いて多様で頑健な質問をサンプリングすることで、ノイズが多い現実世界の設定においてもエントロピーに基づくベースラインを上回り、ノイズのないシミュレーションでも競争力のある性能を維持する。

ABSTRACT

The 20 Questions (Q20) game is a well known game which encourages deductive reasoning and creativity. In the game, the answerer first thinks of an object such as a famous person or a kind of animal. Then the questioner tries to guess the object by asking 20 questions. In a Q20 game system, the user is considered as the answerer while the system itself acts as the questioner which requires a good strategy of question selection to figure out the correct object and win the game. However, the optimal policy of question selection is hard to be derived due to the complexity and volatility of the game environment. In this paper, we propose a novel policy-based Reinforcement Learning (RL) method, which enables the questioner agent to learn the optimal policy of question selection through continuous interactions with users. To facilitate training, we also propose to use a reward network to estimate the more informative reward. Compared to previous methods, our RL method is robust to noisy answers and does not rely on the Knowledge Base of objects. Experimental results show that our RL method clearly outperforms an entropy-based engineering system and has competitive performance in a noisy-free simulation environment.

研究の動機と目的

• 対象オブジェクトの事前知識ベースに依存しない20質問ゲームの質問選択戦略の開発。
• 現実世界の相互作用で一般的に発生するノイズの多いユーザーの回答に対する頑健性の向上。
• 確率的ポリシー・サンプリングにより、多様な質問戦略を探索することで一般化性能を高め、局所最適解を避けること。
• 最終的な推測でのみスパarsityな報酬が得られる長期間の意思決定において、意味のある報酬信号の設計。
• 実際のユーザーとのインタラクションを通じて学習可能なスケーラブルでエンドツーエンドの強化学習フレームワークの構築。

提案手法

• ゲームは、エージェントが可能なターゲットオブジェクトの信念状態（信頼度ベクトル）を維持するマルコフ決定過程（MDP）としてモデル化される。
• ポリシーネットワーク πθ(a|s) は、現在の信念状態に基づいて質問の分布を出力し、グリーディな選択ではなく確率的サンプリングによる質問選択を可能にする。
• 各時刻における非ゼロで情報量のある報酬を推定するための新規なRewardNetが導入され、長期的リターンの責任割り当てが改善される。
• エージェントは、履歴のトラジェクトリ（s, a, r, s'）を格納・サンプリングするための経験再生を用いることで、安定した学習を実現する。
• RewardNetからの推定リターンを用いてポリシーグラデント法によりポリシーを最適化することで、質問選択のエンドツーエンド最適化が可能になる。
• フレームワークは実際のユーザーとのインタラクションを通じて学習されるため、回答のノイズに強く、多様なオブジェクト分布に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 知識ベースにアクセスできない状況下でも、ポリシーに基づく強化学習エージェントは20質問ゲームにおける有効な質問選択を学習できるか？
• RQ2 最終的な勝敗フィードバックのみが得られる状況で、学習効率を向上させるために、意味のある中間報酬をどのように設計できるか？
• RQ3 実際のユーザーからのノイズや誤った回答に対し、RLエージェントはどの程度一般化され、頑健性を保てるか？
• RQ4 ポリシーネットワークによる確率的質問サンプリングは、ルールベースのグリーディ手法と比較して、多様性と一般化性能を向上させるか？
• RQ5 ノイズありおよびノイズなしの両環境下で、RLエージェントの性能は、高度に設計されたベースラインと比べてどの程度か？

主な発見

• ノイズの多い現実世界のヒューマン評価において、提案されたRL手法はエントロピーに基づくエンジニアリング手法を顕著に上回る。
• ノイズのないシミュレーション環境では、RLエージェントはエントロピーベースのベースラインと同等の勝率を達成しており、優れた一般化能力を示している。
• 頻度の高いオブジェクトと低いオブジェクトの両方で高い性能を維持しており、データスパarsityやオブジェクトの人気度バイアスに対しても頑健であることが示された。
• RewardNetの使用により、最終報酬がスパースであるにもかかわらず、より情報量の多い訓練信号が得られ、収束が速く、ポリシー学習が改善された。
• 確率的サンプリングによるポリシーに基づくアプローチは、より多様で自然な質問を生成し、ユーザー体験を向上させた。
• 一様分布および人気度ベースのオブジェクトサンプリング分布の両方で一貫した性能を示しており、異なるオブジェクトセットへの一般化能力が優れていることが裏付けられた。