[論文レビュー] Active Imitation Learning via Reduction to I.I.D. Active Learning

Kshitij Judah, Alan Fern+1 more|Uncertainty in Artificial Intelligence|Oct 16, 2012

Machine Learning and Algorithms参考文献 24被引用数 24

ひとこと要約

本論文は、問題を独立同分布（i.i.d.）のアクティブラーニングに還元することで、専門家への問い合わせコストを顕著に低減する、新しいアクティブな模倣学習フレームワークを提案する。不確実性と過去の相互作用に基づいて、専門家への問い合わせに適した状態を戦略的に選択することで、受動的模倣学習に比べてラベルの複雑さが低く抑えられ、4つのドメインにおける実証的検証でベースラインを上回る性能を示している。

ABSTRACT

In standard passive imitation learning, the goal is to learn a target policy by passively observing full execution trajectories of it. Unfortunately, generating such trajectories can require substantial expert effort and be impractical in some cases. In this paper, we consider active imitation learning with the goal of reducing this effort by querying the expert about the desired action at individual states, which are selected based on answers to past queries and the learner's interactions with an environment simulator. We introduce a new approach based on reducing active imitation learning to i.i.d. active learning, which can leverage progress in the i.i.d. setting. Our first contribution, is to analyze reductions for both non-stationary and stationary policies, showing that the label complexity (number of queries) of active imitation learning can be substantially less than passive learning. Our second contribution, is to introduce a practical algorithm inspired by the reductions, which is shown to be highly effective in four test domains compared to a number of alternatives.

研究の動機と目的

• 模倣学習における専門家の作業負荷を減らし、ポリシーを学習するために必要な問い合わせ回数を最小限に抑えること。
• 受動的模倣学習における完全な専門家トレース収集の高コスト問題に対処すること。
• i.i.d.アクティブラーニング分野の進展を活用した、実用的なアルゴリズムを開発すること。
• アクティブな模倣学習が、著しく少ない専門家への問い合わせで、同等またはそれ以上の性能を達成できることを実証すること。
• 定常的および非定常的ポリシー下でのアクティブな模倣学習の理論的ラベル複雑さを分析すること。

提案手法

• 各状態-行動ペアを独立したインスタンスとして扱うことで、アクティブな模倣学習をi.i.d.アクティブラーニングに還元する。これにより、確立された不確実性サンプリングおよび問い合わせ戦略の利用が可能になる。
• 学習者の現在のポリシーとシミュレータとの相互作用履歴に基づいて、不確実性推定値を用いて専門家への問い合わせに適した状態を選択する。
• 学習者が予測する行動分布が最も不確実な状態を優先する問い合わせ戦略を採用し、情報量の増加を最大化することを目的とする。
• シミュレータを用いてエージェントが環境と相互作用し、専門家への問い合わせの間隔でポリシーを段階的に改善する。
• 理論的分析により、定常的および非定常的ポリシー下で、アクティブな模倣学習のラベル複雑さが受動的模倣学習に比べて顕著に低いことが示された。
• 還元に基づいた実用的なアルゴリズムを設計し、不確実性サンプリングとアクティブな問い合わせ選択を組み合わせて、専門家の干渉を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 アクティブな模倣学習は、受動的模倣学習に比べて、専門家への問い合わせ回数を減らすことができるか？
• RQ2 定常的および非定常的ポリシー下で、アクティブな模倣学習のラベル複雑さは受動的学習と比べてどの程度か？
• RQ3 アクティブな模倣学習をi.i.d.アクティブラーニングに還元することで、実用的で効果的なアルゴリズムが得られるか？
• RQ4 問い合わせ戦略の設計が、アクティブな模倣学習における性能と問い合わせ効率に与える影響は何か？
• RQ5 不確実性に基づく問い合わせ選択とシミュレータとの相互作用は、ポリシー学習におけるサンプル効率にどのように寄与するか？

主な発見

• 理論的分析により、特に非定常的ポリシー下で、アクティブな模倣学習のラベル複雑さが受動的模倣学習に比べて顕著に低いことが示された。
• 提案されたアルゴリズムは、4つのテストドメインにおいて、高いポリシー性能を達成するために必要な専門家への問い合わせ回数を顕著に削減した。
• 実証的結果から、本手法はサンプル効率および最終的なポリシー性能の面で、複数のベースラインを上回ることが示された。
• i.i.d.アクティブラーニングへの還元により、確立された問い合わせ戦略の利用が可能になり、実用性と有効性が向上した。
• 最小限の専門家介入で優れた性能を達成でき、実世界のシナリオにおけるアクティブな模倣学習の実現可能性が裏付けられた。
• フレームワークは定常的および非定常的ポリシーの両方を効果的に処理でき、理論的保証によりその効率性が裏付けられた。