[論文レビュー] Including Uncertainty when Learning from Human Corrections

Dylan P. Losey, Marcia K. O’Malley|arXiv (Cornell University)|Jun 6, 2018

AI-based Problem Solving and Planning参考文献 25被引用数 8

ひとこと要約

本稿では、人間の是正から逆強化学習を行うカルマンフィルタベースの手法を提案し、ロボットが最も可能性の高い人間の好みとその推定における不確実性を推定できるようにする。不確実性を活用したアクティブラーニングとリスク感受性の高いデプロイメントにより、歪んだ人間の是正が存在する状況でも、最先端の最大事後確率推定法よりも高速な学習と低い後悔を達成する。

ABSTRACT

It is difficult for humans to efficiently teach robots how to correctly perform a task. One intuitive solution is for the robot to iteratively learn the human's preferences from corrections, where the human improves the robot's current behavior at each iteration. When learning from corrections, we argue that while the robot should estimate the most likely human preferences, it should also know what it does not know, and integrate this uncertainty as it makes decisions. We advance the state-of-the-art by introducing a Kalman filter for learning from corrections: this approach obtains the uncertainty of the estimated human preferences. Next, we demonstrate how the estimate uncertainty can be leveraged for active learning and risk-sensitive deployment. Our results indicate that obtaining and leveraging uncertainty leads to faster learning from human corrections.

研究の動機と目的

• 既存の逆強化学習手法が不確実性を追跡しないまま最も可能性の高い人間の好みのみを推定するという限界に対処すること。
• 繰り返しの人間の是正からの学習において、どの好みがよく理解されており、どの好みがまだ不確実であるかをロボットが認識できるようにすること。
• 不確実性を活用して情報量の多い是正を選択する方法を開発し、学習効率を向上させること。
• 是正が停止した後も、不確実な好みに関連する行動を避けることで、リスク感受性の高いデプロイメントを支援すること。
• 標準的なノイズ仮定を満たさない現実的で非理想的な人間の是正行動を想定した評価を行うこと。

提案手法

• 本手法は、人間の是正をノイズのある観測としてモデル化し、カルマンフィルタを用いて人間の好みの平均と分散（不確実性）を逐次推定する。
• カルマンフィルタは、各イテレーションで是正を測定値として、既知のノイズ特性を持つものとして、好みの推定値とその不確実性を更新する。
• アクティブラーニングでは、不確実性の低減を最大化するように、推定値の分散が大きい特徴を対象とするトラジェクトリをロボットが選択する。
• リスク感受性の高いデプロイメントでは、学習が停止した後も、高い不確実性を伴う好みに関連するトラジェクトリを回避する。
• 本手法は、トラジェクトリ最適化と好み推定プロセスにおける非線形性を扱うために、アンサンブルカルマンフィルタ（UKF）を用いる。
• 本手法は、是正が誤差が最大のウェイポイントを最適なトラジェクトリに近づけるように生成されるシミュレーテッド人間の是正を用いて評価され、バイアスを導入して耐性をテストする。

実験結果

リサーチクエスチョン

• RQ1 繰り返しの是正からの学習において、カルマンフィルタが人間の好みの平均と不確実性を効果的に推定できるか？
• RQ2 不確実性を活用することで、最大事後確率推定と比較して、学習速度と精度がどのように向上するか？
• RQ3 不確実性を考慮したアクティブラーニングは、より情報量の多い質問を選択することで、必要な是正回数を削減できるか？
• RQ4 是正が停止した後の状況において、不確実性に基づくリスク感受性の高いデプロイメントは、安全性と信頼性をどのように向上させるか？
• RQ5 現実世界の設定において、バイアスがかかるか非ガウス分布の是正が存在する場合、カルマンフィルタ手法はどれほど頑健か？

主な発見

• カルマンフィルタ（KF）手法は、推定誤差と後悔の両面で最先端のPreference Perceptron（PP）を上回り、真の人の好みへの収束が速いことが示された。
• 不確実性低減を目的としたアクティブラーニング（AL）は、一部の好みはすでによく推定済みで、他の好みは不確実な状況においても、PPよりも高速な学習を達成した。
• バイアスがかかる是正（例：誤差が最大のウェイポイントのみを是正する）が存在する状況でも、KF手法は頑健な性能を維持し、非理想的な是正パターンに対して耐性があることが示された。
• 複数の環境において、KF手法はPPと比較して25–40％の後悔削減を達成し、学習プロセスの初期段階から真の人の好みとよりよく一致していることが示された。
• 初期段階で好みの不確実性が高かった場合（例：テーブル回避）、アクティブラーニングは受動的ラーニングよりも不確実性を著しく速く低減した。
• 非ガウス分布の是正ノイズ下でも、本手法は不確実性推定を的確に維持でき、現実のロボットと人間の相互作用環境における頑健性が裏付けられた。