[論文レビュー] Improving Robot-Centric Learning from Demonstration via Personalized Embeddings

Mariah Schrum, Erin Hedlund+1 more|arXiv (Cornell University)|Oct 7, 2021

Robot Manipulation and Learning参考文献 20被引用数 4

ひとこと要約

本稿では、変分推論を用いて人間の示範者のスタイルのパーソナライズド埋め込みを学習することで、不適切なフィードバックを是正する、ロボット中心の教師あり学習（LfD）を改善するメタラーニングフレームワーク、MIND MELDを提案する。修正ラベルと真値の間の相互情報量を最大化することで、MIND MELDは、生の人のフィードバックに比べてラベル品質を63％向上させ、DAggerベースの学習におけるより良いポリシー学習を可能にする。

ABSTRACT

Learning from demonstration (LfD) techniques seek to enable novice users to teach robots novel tasks in the real world. However, prior work has shown that robot-centric LfD approaches, such as Dataset Aggregation (DAgger), do not perform well with human teachers. DAgger requires a human demonstrator to provide corrective feedback to the learner either in real-time, which can result in degraded performance due to suboptimal human labels, or in a post hoc manner which is time intensive and often not feasible. To address this problem, we present Mutual Information-driven Meta-learning from Demonstration (MIND MELD), which meta-learns a mapping from poor quality human labels to predicted ground truth labels, thereby improving upon the performance of prior LfD approaches for DAgger-based training. The key to our approach for improving upon suboptimal feedback is mutual information maximization via variational inference. Our approach learns a meaningful, personalized embedding via variational inference which informs the mapping from human provided labels to predicted ground truth labels. We demonstrate our framework in a synthetic domain and in a human-subjects experiment, illustrating that our approach improves upon the corrective labels provided by a human demonstrator by 63%.

研究の動機と目的

• 不適切な人間による修正フィードバックを用いて学習した場合、現実世界の設定でDAggerの性能が低下する問題に対処すること。
• 過剰補正や一貫性の欠如といった、人間のフィードバックスタイルの個人差をモデル化すること。これらはロボット中心のLfDにおけるポリシー学習を劣化させる要因である。
• 修正フィードバックの系列から、パーソナライズド埋め込みを推論するメタラーニングフレームワークを開発し、低品質なラベルをより正確な真値の近似にマッピングすること。
• 学習された埋め込みが、人間の示範者の間で意味のあるスタイル的・人口統計的・性格的差を捉えているかどうかを検証すること。

提案手法

• MIND MELDは、時間的経過に伴う示範者の修正フィードバックの系列を、双方向LSTMで符号化し、不適切なラベル内の時間的依存関係を捉える。
• 各示範者 $p$ に対して、個人のフィードバック傾向やスタイルを表すパーソナライズド埋め込みベクトル $\vec{w}^{(p)}$ を、変分推論を用いて学習する。
• 対照的損失関数を用いて、学習された埋め込み $\vec{w}^{(p)}$、予測された修正差分 $d_{t'}^{(p)}$、および符号化表現 $\vec{z}$ の間の相互情報量を最大化する。
• ニューラルネットワークヘッド $g_{\phi}$ が、埋め込みと符号化されたフィードバックを入力とし、真の差分 $a_{t'}^{(p)} - o_{t'}$ との平均二乗誤差（MSE）を最小化する予測修正行動を出力する。
• ノイズの多い人間のフィードバックから改善されたラベルへのマッピングを学習できるよう、真値が既知のキャリブレーションタスクでモデルを訓練する。
• 推論時、新しい示範者はトレーニングセットの平均埋め込みで初期化され、自身のフィードバックデータを用いてパーソナライズド埋め込みがファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワークは、ロボット中心のLfDにおける不適切な人間による修正フィードバックの品質を向上させることができるか？
• RQ2 変分推論を用いて学習されたパーソナライズド埋め込みは、人間の示範者の間で意味のあるスタイル的差を捉えているか？
• RQ3 学習された埋め込みは、示範者の人口統計的特徴、性格的特徴、経験水準とどの程度相関しているか？
• RQ4 MIND MELDは、人間の教師を用いたDAggerとオラクルフィードバックの間の性能格差を縮小できるか？
• RQ5 新しい示範者に対して、過去の参加者の平均を用いて埋め込みを初期化することで、フレームワークは一般化可能か？

主な発見

• MIND MELDは、生のフィードバックに比べて、不適切な人間による修正ラベルの品質を63％向上させた。
• 学習されたパーソナライズド埋め込みは、示範者のスタイル的傾向と顕著に相関しており、p値は.001未満であった。
• 埋め込みは示範者の性別と有意に相関していた（p = .0015）、人口統計的差に敏感であることを示唆している。
• 仮想または物理的車両での経験と神経質さの特徴は、それぞれp = .18、.15、.16の傾向を示し、行動的特徴への感受性を示唆している。
• フレームワークは、多様なフィードバックスタイルを効果的に捉えており、修正行動における個人差をモデル化・是正できることを示している。
• 結果から、パーソナライズド埋め込みが、人間-ロボットインタラクションの現実世界でのLfDパフォーマンス向上に寄与する強固な示範者行動表現として機能できることを示唆している。