[論文レビュー] Actively Learning Gaussian Process Dynamics

Mona Buisson-Fenet, Friedrich Solowjow+1 more|arXiv (Cornell University)|Jul 31, 2020

Gaussian Processes and Bayesian Inference被引用数 24

ひとこと要約

本稿では、情報理論的不確実性に基づいてサンプリング点を選択するガウス過程ダイナミクスのアクティブラーニング戦略を提案する。この戦略により、システムダイナミクスの制約を尊重しつつ、サンプル効率の良いモデル学習が可能となる。高不確実性領域における標的的な探索により、データ効率が向上し、広範な数値ベンチマークによって検証されている。

ABSTRACT

Despite the availability of ever more data enabled through modern sensor and computer technology, it still remains an open problem to learn dynamical systems in a sample-efficient way. We propose active learning strategies that leverage information-theoretical properties arising naturally during Gaussian process regression, while respecting constraints on the sampling process imposed by the system dynamics. Sample points are selected in regions with high uncertainty, leading to exploratory behavior and data-efficient training of the model. All results are finally verified in an extensive numerical benchmark.

研究の動機と目的

• データの可用性が増加するにもかかわらず、動的システムの学習におけるデータ非効率性の課題に対処すること。
• ガウス過程回帰に内在する情報理論的性質を活用したアクティブラーニング戦略の開発。
• 学習プロセス中にサンプリング制約を尊重し、現実のシステムダイナミクスと整合性を保つこと。
• 高不確実性領域に注目することで、探索的データ収集を実施し、データ効率の高いモデル学習を達成すること。

提案手法

• 動的システムにおけるガウス過程回帰の不確実性を情報理論的基準で定量化する。
• 予測分散が大きい領域に新しいトレーニングポイントを選択し、探索的データ収集を誘導する。
• システムダイナミクスの制約をアクティブラーニングの選択プロセスに統合し、実行可能なサンプリングを保証する。
• GP回帰が自然に提供する不確実性推定値を活用し、追加のモデリングなしに適応的サンプリングを実現する。
• 各新しいサンプルがモデルの精度を向上させるとともに不確実性を低減する逐次学習フレームワークにこの戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングをガウス過程モデルに効果的に適用することで、動的システムの学習におけるデータ効率をどのように向上させられるか？
• RQ2 動的システムにおける情報的なサンプリングポイントの選択を導くために、どのような情報理論的基準が有効か？
• RQ3 探索を損なうことなく、システムダイナミクスの制約をアクティブラーニングにどのように統合できるか？
• RQ4 ランダムまたは一様サンプリングと比較して、不確実性に基づくサンプリングは、必要なトレーニングサンプル数をどの程度削減できるか？

主な発見

• 提案されたアクティブラーニング戦略は、高不確実性領域に注目することで、データ効率を顕著に向上させる。
• 不確実性駆動のサンプリングは、ベースラインのサンプリング手法と比較して、収束が速く、モデル誤差も低減する。
• 本手法はシステムダイナミクスの制約を尊重しており、現実応用における実行可能で安全なデータ収集を保証する。
• 広範な数値ベンチマークにより、多様な動的システムにおいて本手法の有効性とロバスト性が確認された。