[論文レビュー] Modeling Human Understanding of Complex Intentional Action with a Bayesian Nonparametric Subgoal Model

Ryo Nakahashi, Chris L. Baker+1 more|arXiv (Cornell University)|Dec 3, 2015

Child and Animal Learning Development参考文献 15被引用数 3

ひとこと要約

本稿では、未知の部分目標列に対するほぼ合理的な計画を仮定することで、観察された複雑な行動から階層的な行動構造を推論するベイジアン非パラメトリック部分目標モデルを提案する。このモデルは人間の部分目標推論を正確に予測し、行動実験および人工ユーザ支援タスクの両方で代替手法を著しく上回り、少ない観測でより速く、より安定し、より正確な支援を可能にする。

ABSTRACT

Most human behaviors consist of multiple parts, steps, or subtasks. These structures guide our action planning and execution, but when we observe others, the latent structure of their actions is typically unobservable, and must be inferred in order to learn new skills by demonstration, or to assist others in completing their tasks. For example, an assistant who has learned the subgoal structure of a colleague's task can more rapidly recognize and support their actions as they unfold. Here we model how humans infer subgoals from observations of complex action sequences using a nonparametric Bayesian model, which assumes that observed actions are generated by approximately rational planning over unknown subgoal sequences. We test this model with a behavioral experiment in which humans observed different series of goal-directed actions, and inferred both the number and composition of the subgoal sequences associated with each goal. The Bayesian model predicts human subgoal inferences with high accuracy, and significantly better than several alternative models and straightforward heuristics. Motivated by this result, we simulate how learning and inference of subgoals can improve performance in an artificial user assistance task. The Bayesian model learns the correct subgoals from fewer observations, and better assists users by more rapidly and accurately inferring the goal of their actions than alternative approaches.

研究の動機と目的

• 人間が意図的行動の系列から潜在的な部分目標構造をどのように推論するかをモデル化すること。
• 非パラメトリックベイズ手法を用いて階層的計画と合理的な行動推論を捉える計算フレームワークを開発すること。
• このモデルが代替モデルやヒューリスティクスよりも人間の部分目標推論をより正確に予測できるかどうかを検証すること。
• 学習した部分目標構造を用いて、リアルタイムでユーザーを支援する人工ユーザ支援タスクにおけるモデルの実用性を評価すること。
• 部分目標推論が最小限のトレーニングデータで、より速く、より安定した支援を可能にすることを実証すること。

提案手法

• モデルは、行動が未知の部分目標列に対するほぼ合理的な計画によって生成される階層的マルコフ決定過程（MDP）を用いる。
• 部分目標列はディリクレ過程の事前分布でモデル化され、部分目標の数や構成に対する非パラメトリック推論を可能にする。
• 観察された行動系列から部分目標列の数と構造を同時に推論するためのカスタム・マルコフ連鎖モンテカルロ（MCMC）手法を採用する。
• 逆計画を介した合理性制約を組み込むことで、目的地および部分目標列に関する事後確率をベイズ推論で計算する。
• ユーザ支援の文脈では、少数のデモンストレーションから部分目標構造を学習し、進行中の部分行動系列の予測と支援に活用する。
• 性能評価は、支援者が部分目標を推論し、ユーザーを支援する共同タスクを用い、行動コストにペナルティを課す報酬を設定する。

実験結果

リサーチクエスチョン

• RQ1 人間は複雑な行動系列において、部分目標の数や構成をどのように推論するのか？
• RQ2 階層的計画を組み込んだベイジアン非パラメトリックモデルは、代替モデルよりも人間の部分目標推論をよりよく予測できるか？
• RQ3 部分目標推論は人工ユーザ支援タスクのパフォーマンスをどの程度向上させるか？
• RQ4 トレーニングデモンストレーションの数が増えるに従い、モデルの性能はどのように変化するか？
• RQ5 限られたデータでも、モデルの部分目標推論は安定的かつ信頼できるか？

主な発見

• ベイジアン非パラメトリック部分目標モデルは、人間の部分目標推論を高い正確性で予測し、代替モデルやヒューリスティクスを著しく上回った。
• わずか2つ以上の入力系列を用いるだけで、モデルはほぼ真値水準のパフォーマンスを達成し、優れたデータ効率性を示した。
• 繰り返しの試行においてもモデルの性能は安定しており、分散が低かった。これに対して代替モデルは入力系列の変化に伴い著しく不安定であった。
• 最小限のトレーニングデータでも、モデルは部分目標知識なしまたは固定された部分目標構造を持つモデルよりも、支援者がユーザーをより迅速かつ正確に支援できるようにした。
• モデルが部分目標の境界と階層的構造を推論できることで、より良い一般化と文脈に応じた行動理解が可能になった。
• 非パラメトリックな性質のおかげで、事前に部分目標の数や順序を指定せずとも、正しい部分目標の数とその順序を学習でき、柔軟性とロバスト性が向上した。