[論文レビュー] Active Contextual Entropy Search

Jan Hendrik Metzen|arXiv (Cornell University)|Nov 13, 2015

Human Pose and Action Recognition参考文献 26被引用数 5

ひとこと要約

この論文は、最適なポリシー・パラメータに関する期待情報量ゲインを最大化するために、タスク（コンテキスト）とパラメータの両方を同時に選択する情報理論的アクティブラーニング手法であるアクティブコンテキストエントロピー探索（ACES）を提案する。ベイジアン最適化フレームワークにおけるエントロピー探索を活用することで、ランダムまたはヒューリスティックなタスク選択よりも不確実性をより効率的に低減し、より少ない試行回数でロボット制御タスクにおいて高速な学習収束を達成する。

ABSTRACT

Contextual policy search allows adapting robotic movement primitives to different situations. For instance, a locomotion primitive might be adapted to different terrain inclinations or desired walking speeds. Such an adaptation is often achievable by modifying a small number of hyperparameters. However, learning, when performed on real robotic systems, is typically restricted to a small number of trials. Bayesian optimization has recently been proposed as a sample-efficient means for contextual policy search that is well suited under these conditions. In this work, we extend entropy search, a variant of Bayesian optimization, such that it can be used for active contextual policy search where the agent selects those tasks during training in which it expects to learn the most. Empirical results in simulation suggest that this allows learning successful behavior with less trials.

研究の動機と目的

• 制限された試行回数でのマルチタスクロボットポリシー探索におけるアクティブでサンプル効率的な学習の課題に対処すること。
• 異なるタスク間で報酬が比較不能である問題に対処し、性能の差がポリシーの質ではなくタスクの難易度に起因する可能性があること。
• コンテキスト空間全体におけるグローバル最適ポリシー・パラメータに関する情報量ゲインを最大化するコンテキストとパラメータの共同選択の原則的かつ整合的な手法を開発すること。
• ヒューリスティックまたはランダムなタスク選択に代えて情報理論的基準を採用することで、コンテキストポリシー探索における学習速度とサンプル効率を向上させること。

提案手法

• ACESは、コンテキスト-パラメータ空間全体にわたるガウス過程（GP）を用いて期待リターン $ R(\theta, s) $ をモデル化することで、エントロピー探索をコンテキストポリシー探索に拡張する。
• 最適パラメータ・ベクトルの事後分布エントロピーの期待値を最小化するように、次のコンテキストとパラメータのペアを選択することで、グローバルな不確実性低減を促進する。
• コンテキスト空間全体における期待情報量ゲインのモンテカルロ近似を用い、エントロピー低減の推定に $ N_{nn} $ 個の最近傍点が使用される。
• 獲得関数は、潜在的なコンテキスト-パラメータペアの統合に基づいて計算され、全体のポリシーに対して高い情報量ゲインをもたらす領域を優遇する。
• 上位のポリシーがコンテキスト相対エントロピー政策探索（C-REPS）によって更新されるベイジアン最適化フレームワークにこのアプローチを統合する。
• 決定的アフィンポリシーがコンテキストからパラメータへマッピングされ、固定された探索パrameter $ \kappa = 5.0 $ を用いた非等方的マテルンカーネルを用いてGPのスレーブモデルが学習される。

実験結果

リサーチクエスチョン

• RQ1 情報量ゲインに基づくアクティブなタスク選択は、コンテキストポリシー探索においてランダムまたはヒューリスティックなタスク選択を上回るか？
• RQ2 コンテキスト空間全体におけるグローバルな不確実性低減を考慮することで、ロボットポリシー学習におけるサンプル効率がどのように向上するか？
• RQ3 エントロピー近似に複数の最近傍点を用いることで、単一サンプル推定と比較して学習性能がどの程度向上するか？
• RQ4 タスク難易度の明示的推定を必要とせずに、ACESは異なるタスク間で比較不能な報酬をどのように処理するか？

主な発見

• エントロピー近似に $ N_{nn} = 20 $ 個の最近傍点を用いたACESは、ランダムなタスク選択よりも著しく高速な学習収束を達成し、高い性能に到達するための試行回数を削減した。
• 期待改善（ES）とGP-UCBによるパラメータ選択を用いたBO-CPSよりも、特に初期学習段階で優れた性能を示した。
• 特に $ N_{nn} = 20 $ を用いた場合、境界領域は情報量が少なくグローバルな情報が得られにくいことから、ACESは境界近辺のコンテキストを回避し、より効果的な探索がなされた。
• 一方、$ N_{nn} = 1 $ を用いたACESは、局所的な情報量ゲインに依存するため、境界領域のコンテキストを多く選択し、結果として学習が遅くなった。
• 実験結果から、ACESはテスト用のコンテキストグリッド全体にわたる動きプリミティブの一般化を高速化し、20回の独立実験における平均性能の分散が低くなった。
• アクティブなコンテキスト選択にエントロピー探索を用いることで、学習成功の速度向上が明確に確認され、アクティブマルチタスク強化学習における情報理論的基準の価値が示された。