[論文レビュー] Inferring Personalized Bayesian Embeddings for Learning from Heterogeneous Demonstration

Rohan Paleja, Matthew Gombolay|arXiv (Cornell University)|Mar 14, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、ベイジアンニューラルネットワーク（BNN）を用いて、多様な人間の示範者に対するパーソナライズド埋め込みを推論するベイジアンLfDフレームワークを提案する。これにより、正確で個別化された行動予測が可能になる。ペアワイズ行動比較を用いた反事後的推論を組み込むことで、データ効率が向上し、合成および実世界のStarCraft IIデータセットにおいて、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

For assistive robots and virtual agents to achieve ubiquity, machines will need to anticipate the needs of their human counterparts. The field of Learning from Demonstration (LfD) has sought to enable machines to infer predictive models of human behavior for autonomous robot control. However, humans exhibit heterogeneity in decision-making, which traditional LfD approaches fail to capture. To overcome this challenge, we propose a Bayesian LfD framework to infer an integrated representation of all human task demonstrators by inferring human-specific embeddings, thereby distilling their unique characteristics. We validate our approach is able to outperform state-of-the-art techniques on both synthetic and real-world data sets.

研究の動機と目的

• 学習から示範（LfD）における人間行動の多様性の課題に対処すること。従来の手法は同質性を仮定しているか、クラスタリングを用いるが、データ効率が低下する。
• 従来のクラスタリングベースのLfDアプローチの限界を克服すること。これらはモデル容量を犠牲にし、混合またはクラスタ内変動を適切に扱えない。
• 共通の構造を活用しながら、個々の人物に特化した埋め込みを推論するベイジアンニューラルネットワークフレームワークを開発すること。
• ペアワイズ行動比較による反事後的推論を導入することで、低データ環境におけるデータ効率を向上させること。
• ベイジアン埋め込みの収束までに頑健な性能を確保するため、ハイブリッドトレーニング戦略（Hybrid-Bayes Shift）を提案すること。

提案手法

• ベイジアンニューラルネットワーク（BNN）を用いて、個人の意思決定特性を表す潜在的埋め込みを学習し、パーソナライズド行動モデリングを可能にする。
• 各状態において、人間が取った行動と他のすべての可能な行動を比較することで、反事後的推論を統合する。これにより、訓練信号が強化される。
• 観測された行動の尤度を最大化すると同時に、観測されなかった行動をペナルティ化するように学習目的を定式化し、確率的ランキング損失を用いる。
• 非ベイジアン初期モデルと段階的ベイジアンファインチューニングを組み合わせたハイブリッドトレーニング戦略（Hybrid-Bayes Shift）を用い、初期予測の安定性を確保する。
• バックプロパゲーションをベイジアン層を介してエンドツーエンドで実行することで、BNNを訓練し、個々の示範者に合わせた不確実性を考慮した適応を可能にする。
• 行動記述子と状態特徴を入力として用い、合成ジョブショップスケジューリングおよび実世界の人間のStarCraft IIプレイの両方に対してフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 多様なLfDにおける個人の意思決定パターンを捉えるために、ベイジアンニューラルネットワークを効果的に用いてパーソナライズド埋め込みを推論できるか？
• RQ2 ペアワイズ行動比較による反事後的推論は、低データ環境におけるLfDのデータ効率とモデル性能をどの程度向上させるか？
• RQ3 ハイブリッドトレーニング戦略（Hybrid-Bayes Shift）は、ベイジアン埋め込みの収束を待つ間でも、頑健な初期性能を達成できるか？
• RQ4 ベイジアン埋め込みは、たとえば行動予測ネットワークから価値予測ネットワークへと、異なるニューラルネットワークアーキテクチャ間で転送可能か？
• RQ5 提案手法は、予測精度と一般化性能の面で、最先端のクラスタリングベースのLfDアプローチを上回るか？

主な発見

• 提案されたベイジアンLfDフレームワークにパーソナライズド埋め込みを組み込むことで、合成および実世界の両方のデータセットにおいて、従来の最先端手法（k-meansクラスタリングベースのベースライン含む）を顕著に上回る性能を発揮した。
• ペアワイズ比較による反事後的推論により、特に低データ環境において、性能が数倍向上した。これは、有効な訓練信号が効果的に増強されたためである。
• Hybrid-Bayes Shiftアルゴリズムは、初期トレーニング段階で非ベイジアンモデルを活用することで、初期段階での強い性能を達成した。その後、段階的にベイジアン推論に移行した。
• StarCraft IIにおける実験的結果から、訓練データが限られた状況でも、モデルが人間の行動を高い精度で正確に予測できることを示した。
• 研究結果から、ベイジアン埋め込みが異なるネットワークアーキテクチャ間で信頼性を持って転送可能であるとは限らないことが判明した（例：行動予測ネットワークから価値予測ネットワークへの転送）。これは、明示的な設計がなければ、ネットワーク不変の埋め込みは保証されないことを示唆している。
• 結果から、BNNは多様な設定におけるLfDに適しており、不確実性推定と個人の行動への適応性の向上を両立できることが示された。