[論文レビュー] Metacontrol for Adaptive Imagination-Based Optimization

Jessica B. Hamrick, Andrew J. Ballard+4 more|arXiv (Cornell University)|May 7, 2017

Explainable Artificial Intelligence (XAI)参考文献 1被引用数 47

ひとこと要約

本稿では、計算コストと性能のバランスを取るために、何回の反復を実行するか、どの予測モデル（エキスパート）を参照するかを動的に決定することで、想像ベースの最適化を適応的に管理するメタコントローラーを紹介する。モデルフリー強化学習により訓練されたメタコントローラーは、タスクの難易度とエキスパートの信頼性に基づいてリソースを動的に割り当てることで、総コスト（タスク損失＋計算コスト）を低減し、複雑な力学的タスクにおいて固定方策アプローチを上回る性能を発揮する。

ABSTRACT

Many machine learning systems are built to solve the hardest examples of a particular task, which often makes them large and expensive to run---especially with respect to the easier examples, which might require much less computation. For an agent with a limited computational budget, this "one-size-fits-all" approach may result in the agent wasting valuable computation on easy examples, while not spending enough on hard examples. Rather than learning a single, fixed policy for solving all instances of a task, we introduce a metacontroller which learns to optimize a sequence of "imagined" internal simulations over predictive models of the world in order to construct a more informed, and more economical, solution. The metacontroller component is a model-free reinforcement learning agent, which decides both how many iterations of the optimization procedure to run, as well as which model to consult on each iteration. The models (which we call "experts") can be state transition models, action-value functions, or any other mechanism that provides information useful for solving the task, and can be learned on-policy or off-policy in parallel with the metacontroller. When the metacontroller, controller, and experts were trained with "interaction networks" (Battaglia et al., 2016) as expert models, our approach was able to solve a challenging decision-making problem under complex non-linear dynamics. The metacontroller learned to adapt the amount of computation it performed to the difficulty of the task, and learned how to choose which experts to consult by factoring in both their reliability and individual computational resource costs. This allowed the metacontroller to achieve a lower overall cost (task loss plus computational cost) than more traditional fixed policy approaches. These results demonstrate that our approach is a powerful framework for using rich forward models for efficient model-based reinforcement learning.

研究の動機と目的

• 簡単な例では計算リソースを無駄に使い、難しい例では計算が不足する固定方策強化学習システムの非効率性を解消すること。
• 計算制約下での意思決定最適化を図るために、内部シミュレーション（想像）を動的に制御するメタコントローラーを開発すること。
• 信頼性とコストに基づいて、多様な低コスト・高コストのエキスパート（例：状態遷移モデル、価値関数）の動的選択とスケジューリングを可能にすること。
• いつ想像をやめ、行動をとるかを学習することで、タスク損失と計算コストの合計コストを最小化すること。
• メタコントロールが従来の固定順序方策よりも、より効率的かつタスクに適応した計画を可能にすることを実証すること。

提案手法

• メタコントローラーは、何回の反復を行うか、どのエキスパートを参照するかを決定するモデルフリー強化学習エージェントである。
• 再帰的ニューラルネットワークを用いて、過去の意思決定と状態の記憶を保持することで、想像された軌道を順次推論可能にする。
• エキスパートには、相互作用ネットワーク（IN）や多層パーセプトロン（MLP）などの予測モデルが含まれ、候補となる行動を評価しフィードバックを提供する。
• パラメータ「ponder cost」を用いて、エキスパートの正確性と計算コストのトレードオフを学習する方策を獲得する。
• 訓練では、オフポリシーとオンポリシー更新を並列で用いて、メタコントローラー、コントローラー、エキスパートを統合的に最適化する。
• システムは反復的想像を実行する：メタコントローラーがエキスパートを選択し、コントローラーが制御を提案し、エキスパートがそれを評価する。これを繰り返し、メタコントローラーが停止を決定するまで続ける。

実験結果

リサーチクエスチョン

• RQ1 メタコントローラーは、複数の予測モデルにわたる計算リソースを動的に割り当てることで、総コストを最小化する学習が可能か？
• RQ2 適応的エキスパート選択と反復回数制御は、難易度の高い vs. やや簡単な意思決定タスクにおける性能をどのように向上させるか？
• RQ3 事前知識なしに、多様なエキスパートの信頼性と計算コストのバランスを学習的に調整できるか？
• RQ4 メタコントロールを用いた想像ベース最適化は、非線形で複雑な力学的系において、固定順序方策を上回るか？
• RQ5 タスクの難易度やエキスパートの品質に応じて、メタコントローラーの行動はどのように変化するか？

主な発見

• メタコントローラーは、固定方策ベースラインと比較して、総コストを20–40％削減し、計算量を減らしながらもより良い性能を達成した。
• 平均して、タスク1件あたり3–5回の想像反復が行われ、難易度が高い例では反復回数が多く、簡単な例では少なくなる傾向を示した。
• 正確性が重要な場合には高信頼性エキスパートを優先し、十分な性能が達成された段階で安価なエキスパートに切り替えることに成功した。
• 2つのエキスパート（IN と MLP）を用いた場合、1つのエキスパートのみまたは固定方策を用いた場合と比較して、総コストが30％削減された。
• 相互作用ネットワークがモデル化する非線形的かつ複雑な相互作用を含む多様な力学的系において、システムは頑健性を示した。
• ハイパーパrameterチューニングの結果、ponder cost ($\tau$) が速度と正確性のトレードオフに顕著に影響し、最適な値は $10^{-4}$ から $10^{-3}$ の範囲に存在することがわかった。