[論文レビュー] Unsupervised Real-Time Control through Variational Empowerment

Maximilian Karl, Maximilian Soelch+4 more|arXiv (Cornell University)|Oct 13, 2017

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本論文は、連続的力学系におけるリアルタイムで自己教師付きのポリシー学習を可能にするために、権力（エンパワーメント）の下界を効率的に計算するための変分推論手法を提案する。深層変分ベイズフィルタを用いてエンドツーエンドの動的システム学習を実現し、エージェントが将来の状態に与える影響を最大化するポリシーを学習することで、シミュレート環境内でのバランスや運動分布といった、目的関数なしの頑健な行動が得られる。

ABSTRACT

We introduce a methodology for efficiently computing a lower bound to empowerment, allowing it to be used as an unsupervised cost function for policy learning in real-time control. Empowerment, being the channel capacity between actions and states, maximises the influence of an agent on its near future. It has been shown to be a good model of biological behaviour in the absence of an extrinsic goal. But empowerment is also prohibitively hard to compute, especially in nonlinear continuous spaces. We introduce an efficient, amortised method for learning empowerment-maximising policies. We demonstrate that our algorithm can reliably handle continuous dynamical systems using system dynamics learned from raw data. The resulting policies consistently drive the agents into states where they can use their full potential.

研究の動機と目的

• 高次元的で連続的かつ非線形な力学系におけるエンパワーメントの計算を、標準的手法では計算が非現実的であるという課題に対処すること。
• 変分推論を用いてエンパワーメントの下界を推定するためのアンモタイズドで微分可能な手法を開発し、リアルタイムでのポリシー最適化を可能とすること。
• 報酬関数の設計や外部の教師信号なしに、生データからエンパワーメントに基づくポリシーが出現し、直感的で目的のない行動が得られることを示すこと。
• 学習されたシステムモデルを用いて、振り子の立ち上げ、マルチボールダイナミクス、二足歩行バランスといった複雑な制御タスクにおいて、本手法の有効性を検証すること。

提案手法

• 本手法は、行動と後続状態の間の相互情報量としてエンパワーメントを定式化し、連続的システムにおいて扱えるように変分下界を用いる。
• 生観測データから環境の動的挙動を微分可能で非線形なモデルとして学習するために、深層変分ベイズフィルタ（DVBF）を採用する。
• 再パrameterization勾配を用いて、確率的勾配降下法により、エンパワーメントの変分下界を最大化するように確率的ポリシー・ネットワークを学習する。
• 状態間でパラメータを共有することで推論をアンモタイズし、デプロイ時における高速で定数時間のポリシー評価を実現する。
• 時間窓にわたり1ステップのエンパワーメント値を蓄積することで、nステップエンパワーメントをサポートし、安定性と長期的影響力を向上させる。
• エンドツーエンド微分可能であるため、生センサデータから同時に動的システムとエンパワーメント最大化ポリシーを学習可能である。

実験結果

リサーチクエスチョン

• RQ1 高次元的で連続的な力学系において、エンパワーメントの変分下界を効率的に計算・最適化できるか？
• RQ2 エンパワーメントが、複雑な制御タスクにおいて意味のある目的のない行動を誘発する自己教師的目的として機能できるか？
• RQ3 動的挙動がデータから学習された場合、非マルコフ的システムに対しても本手法は一般化可能か？
• RQ4 nステップエンパワーメントは、1ステップエンパワーメントと比較して、安定的で高影響力を持つポリシーをどのように形作るか？
• RQ5 報酬信号なしで、ロボットのデプロイに適したリアルタイム性能を達成できるか？

主な発見

• 本手法は、報酬関数なしに、振り子の垂直バランスやバイペダルのバランスといった高エンパワーメント状態にエージェントを誘導するポリシーを学習に成功した。
• マルチボール環境では、エンパワーメントに基づいて学習されたポリシーが自然にボールをボックス内に均等に分布させ、凝集を避けて制御可能性を最大化した。
• バイペダルウォーカーのための学習済みポリシーは、元の環境が同様のタスクのために密度の高い報酬設計を用いていたにもかかわらず、安定したバランス行動を達成した。
• 5ステップエンパワーメントの定式化により、バランス状態に近づくに従い、滑らかで単調増加のエンパワーメント上昇が得られ、1ステップエンパワーメントの分布と密接に一致した。
• 定数時間のポリシー評価により、リアルタイム推論が達成され、オンライン制御アプリケーションに適した。
• 実験的結果から、エンパワーメントの変分下界は真のエンパワーメントの優れた代理指標であることが示され、複雑で非線形なシステムにおいて効果的なポリシー最適化を可能にした。