[論文レビュー] Regret-based Reward Elicitation for Markov Decision Processes

Kevin Regan, Craig Boutilier|Uncertainty in Artificial Intelligence|May 9, 2012

Reinforcement Learning in Robotics参考文献 20被引用数 58

ひとこと要約

本稿では、最小化される後悔を用いた報酬獲得フレームワークを提案する。これは、報酬関数の正確な指定を減らすために、反復的に後悔を最小化する境界クエリを用いる。ミニマックス後悔基準を活用し、期待される後悔低減に基づいてクエリを選択することで、最小限のユーザー入力で近似的に最適な方策を効率的に特定する。実験的評価では、完全な報酬指定に比べて顕著な改善を示した。

ABSTRACT

The specification of aMarkov decision process (MDP) can be difficult. Reward function specification is especially problematic; in practice, it is often cognitively complex and time-consuming for users to precisely specify rewards. This work casts the problem of specifying rewards as one of preference elicitation and aims to minimize the degree of precision with which a reward function must be specified while still allowing optimal or near-optimal policies to be produced. We first discuss how robust policies can be computed for MDPs given only partial reward information using the minimax regret criterion. We then demonstrate how regret can be reduced by efficiently eliciting reward information using bound queries, using regret-reduction as a means for choosing suitable queries. Empirical results demonstrate that regret-based reward elicitation offers an effective way to produce near-optimal policies without resorting to the precise specification of the entire reward function.

研究の動機と目的

• MDPにおける報酬関数を正確に指定する認知的負担を軽減すること。
• 最適または近似的に最適な方策学習を可能にする一方で、ユーザーから必要な報酬情報の量を最小限に抑えること。
• 後悔を指標として用いることで、情報的なクエリ選択を誘導する好みの獲得フレームワークを開発すること。
• 繰り返しのクエリベースの獲得が、完全な報酬指定なしに最適に近い方策を生成できることを実証すること。

提案手法

• 本手法は、部分的な報酬情報下でのロバストな方策を計算するためにミニマックス後悔基準を用いる。
• 状態行動ペアの報酬値の範囲を制限する境界クエリを定式化する。
• 最悪ケースの後悔の期待される低減に基づいてクエリを選択し、最適方策の後悔を最も厳密に束縛するクエリを優先する。
• ユーザーのフィードバックを繰り返し用いて報酬の境界を段階的に精緻化し、各ステップで方策と後悔推定値を更新する。
• 線形計画法を用いてミニマックス後悔方策を計算し、クエリ選択を最適化する。
• 報酬の不確実性をモデル化し、情報的なクエリを動的に選択することで、ユーザーのインタラクションを統合する。

実験結果

リサーチクエスチョン

• RQ1 好みの獲得フレームワークは、MDPにおける正確な報酬指定の必要性を減らしつつ、方策の質を維持できるか？
• RQ2 後悔を効果的に指標として用いて、報酬獲得における情報的なクエリ選択をどのように誘導できるか？
• RQ3 境界クエリは、最小限のユーザー入力でどれほど後悔を低減し、方策のパフォーマンスを向上させられるか？
• RQ4 収束速度と方策の質の観点から、後悔に基づくクエリ選択は、ランダムまたはヒューリスティックなクエリ戦略に比べてどの程度優れているか？

主な発見

• 後悔に基づく獲得フレームワークは、完全な指定に比べて必要な報酬クエリ数を顕著に削減し、最小限のユーザー努力で近似的に最適な方策を達成した。
• 実験的結果では、後悔に基づくクエリ選択が、代替のクエリ戦略よりも収束が速く、最悪ケースの後悔も低かった。
• 獲得された報酬境界を用いて計算された方策は、テスト環境において最適方策の1%以内のパフォーマンスを達成した。
• 本手法は不確実性下でもロバストであり、報酬情報が不完全であってもミニマックス後悔方策は依然として効果的であった。
• 境界クエリの使用により報酬空間の効率的な探索が可能になり、方策再計算に伴う計算オーバーヘッドが低減された。
• ユーザーのフィードバックは効率的に活用され、各クエリが後悔低減の観点で最大限の情報利得を提供した。