[論文レビュー] PAC-Bayes Control: Synthesizing Controllers that Provably Generalize to Novel Environments

Anirudha Majumdar, Maxwell Goldstein|arXiv (Cornell University)|Jun 11, 2018

Machine Learning and Algorithms被引用数 15

ひとこと要約

本稿では、PAC-Bayesフレームワークを用いて未確認環境における期待コストの一般化を保証するように、ロボット制御則の合成手法であるPAC-Bayes Controlを提案する。この手法は、一般化境界を最小化する最適化問題として制御則合成を定式化し、凸最適化または確率的勾配降下法を用いる。深度センシングを伴うシミュレートされた障害物回避タスクにおいて、優れた一般化性能を示した。

ABSTRACT

Our goal is to synthesize controllers for robots that provably generalize well to novel environments given a dataset of example environments. The key technical idea behind our approach is to leverage tools from generalization theory in machine learning by exploiting a precise analogy (which we present in the form of a reduction) between robustness of controllers to novel environments and generalization of hypotheses in supervised learning. In particular, we utilize the Probably Approximately Correct (PAC)-Bayes framework, which allows us to obtain upper bounds (that hold with high probability) on the expected cost of (stochastic) controllers across novel environments. We propose control synthesis algorithms that explicitly seek to minimize this upper bound. The corresponding optimization problem can be solved using convex optimization (Relative Entropy Programming in particular) in the setting where we are optimizing over a finite control policy space. In the more general setting of continuously parameterized controllers, we minimize this upper bound using stochastic gradient descent. We present examples of our approach in the context of obstacle avoidance control with depth measurements. Our simulated examples demonstrate the potential of our approach to provide strong generalization guarantees on controllers for robotic systems with continuous state and action spaces, complicated (e.g., nonlinear) dynamics, and rich sensory inputs (e.g., depth measurements).

研究の動機と目的

• 例環境からのデータを用いて、未確認環境へ一般化を保証する制御則の合成手法を開発すること。
• 制御のロバストネスと教師あり学習における一般化を、形式的な還元によって結びつけること。
• PAC-Bayesフレームワークを用いて、未知環境における制御則の期待コストに対する高確率上界を導出すること。
• これらの一般化境界を最小化する最適化ベースの制御則合成アルゴリズムを設計すること。
• 連続的な状態・行動空間、非線形ダイナミクス、および深度測定値などの豊富なセンサ入力を有するロボット制御タスクにおいて、このアプローチを評価すること。

提案手法

• 本手法は、未知環境に対する制御則のロバストネスと、教師あり学習における一般化との間の還元を確立する。
• PAC-Bayesフレームワークを適用し、未確認環境における確率的制御則の期待コストに対する高確率上界を導出する。
• 有限なポリシー空間の場合、最適化問題は凸最適化（特に相対エントロピープログラミング）を用いて解かれる。
• 連続的にパrameter化された制御則の場合、一般化境界を最小化するために確率的勾配降下法が用いられる。
• 制御則を確率的仮説とみなし、例環境からのデータを用いて一般化制約のもとで学習する。
• このフレームワークは、シミュレーションにおける深度測定を用いた障害物回避タスクに適用された。

実験結果

リサーチクエスチョン

• RQ1 一般化理論を用いて、未知環境における制御則の期待コストを形式的に上界で抑えられるか？
• RQ2 実際には、この一般化境界を最小化する制御則をどのように合成できるか？
• RQ3 提案手法は、複雑なロボットタスクにおいて、未確認環境へ一般化する能力を有する制御則を生成するか？
• RQ4 非線形ダイナミクスおよび豊富なセンサ入力を有する設定において、この手法の性能はいかがなものか？
• RQ5 離散的および連続的制御則パラメータ化の両方において、最適化問題が効率的に解けるか？

主な発見

• PAC-Bayesフレームワークにより、未知環境における制御則の期待コストに対する高確率上界を導出可能である。
• 提案された合成アルゴリズムは、これらの上界を効果的に最小化し、一般化が保証された制御則を生成した。
• 有限なポリシー空間の場合、凸最適化（相対エントロピープログラミング）を用いることで、最適化問題を効率的に解ける。
• 連続的パrameter化の場合、確率的勾配降下法が一般化境界を効果的に最小化した。
• シミュレーション結果から、深度測定を伴う障害物回避タスクにおいて、優れた一般化性能が確認された。
• 本手法は、連続的な状態空間・行動空間および非線形ダイナミクスを有するシステムへも適用可能である。