[論文レビュー] Perceptual Reward Functions

Ashley D. Edwards, Charles L. Isbell+1 more|arXiv (Cornell University)|Aug 12, 2016

Reinforcement Learning in Robotics参考文献 14被引用数 14

ひとこと要約

本稿では、ドメイン固有の報酬パラメータに依存せずに、エージェントの状態とゴール画像の間の視覚的類似性を用いて強化学習タスクを指定する方法として、Perceptual Reward Functions (PRFs) を導入する。モーションテンプレートとHOG特徴量を用いて視覚的表現を比較することで、エージェントは顔の表情や折り紙の折り方といった複雑な行動を、raw pixelから直接学習可能であり、エージェントとゴールの表現がソースや外見が異なる場合でも、効果的なタスク学習が可能であることを示している。

ABSTRACT

Reinforcement learning problems are often described through rewards that indicate if an agent has completed some task. This specification can yield desirable behavior, however many problems are difficult to specify in this manner, as one often needs to know the proper configuration for the agent. When humans are learning to solve tasks, we often learn from visual instructions composed of images or videos. Such representations motivate our development of Perceptual Reward Functions, which provide a mechanism for creating visual task descriptions. We show that this approach allows an agent to learn from rewards that are based on raw pixels rather than internal parameters.

研究の動機と目的

• ドメイン固有の状態変数に依存する手作業で設計された報酬関数に依存せずに、複雑な強化学習タスクを指定する課題に対処すること。
• 人間が動画や画像から学ぶのを模倣して、視覚的デモンストレーションやゴール画像を用いたタスク指定を可能にすること。
• タスクを変更しても内部タスクパラメータの変更を必要としない、一般化された視覚ベースの報酬関数を開発すること。
• モーションテンプレートやHOG特徴量といった視覚表現が、タスクゴールを効果的に符号化し、成功した学習を支援できるかどうかを評価すること。
• エージェントの視覚的状態とゴールの表現がソースや外見が異なる場合でも、エージェントが望ましい行動を学習できるかどうかを示すこと。

提案手法

• 本稿では、エージェントの現在の状態とゴール表現の間の視覚的類似性に基づいて報酬を計算するPerceptual Reward Functions (PRFs) を提案する。入力はraw pixelそのままである。
• モーションテンプレートは、動画シーケンスからの時間的動きパターンを符号化するために用いられ、強度が高いほど最近の動きを示し、行動の空間的・時間的表現を可能にする。
• HOG特徴量はモーションテンプレートから抽出され、エージェントとゴールの状態を比較するためのコンパクトで識別性の高い表現が作られる。
• 3つのタスク表現手法を導入する：視覚的報酬関数（VRF）、キーポイントベースの報酬関数（KPRF）、人間が認識する報酬関数（HPRF）、それぞれ異なる視覚的記述子を用いる。
• Q値関数の近似にDeep Q-Network (DQN) を用い、視覚的状態入力を伴う価値ベースの学習を可能にする。
• 報酬は、エージェントのモーションテンプレートとゴールテンプレートのHOG特徴量間のL2距離の逆数として計算され、望ましい行動への整合性を促進する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の内部パrameterに依存せずに、エージェントの状態とゴール画像の視覚的類似性を用いて強化学習タスクを効果的に指定できるか？
• RQ2 モーションテンプレートとHOG特徴量は、強化学習におけるタスク表現の有効な視覚的記述子として機能するか？
• RQ3 エージェントの観測とは異なるソース（例：人間の動画）から得られたゴール表現を使用しても、エージェントは意味のある行動を学習できるか？
• RQ4 トレーニング中にエージェントの行動とゴールテンプレートの視覚的類似性はどのように変化するか？また、タスクの成功と相関するか？
• RQ5 同じ報酬メカニズムを用いて、顔の表情や物体操作といった異なるタスクや表現に、PRFsが一般化可能か？

主な発見

• HPRFエージェントは、人間がデモンストレーションしたゴールテンプレートを用いても、口を大きく開ける動作や眉を上げる動作といった特徴的な行動を模倣し、幸せや驚きの表情を正しく再現できた。
• HPRFのゴールテンプレートとエージェントが生成するモーションテンプレートとの距離は、時間経過とともに減少した。これは、エージェントの行動が望ましいゴールに視覚的に類似するようになってきたことを示している。
• VRFおよびKPRFエージェントは、驚きと幸せのタスクで高い成功率を達成し、HPRFエージェントも正しい行動パターンを学習する上で同等の性能を示した。
• モーションテンプレート表現は、行動の空間的・時間的ダイナミクスを効果的に捉えており、エージェントとゴールのソースが異なる場合でも、信頼性のある視覚的比較を可能にした。
• モーションテンプレートにHOG特徴量を適用することで、視覚的類似性を計算するための堅牢で汎用的な方法が得られ、タスク固有の報酬設計なしに効果的な学習を可能にした。
• 結果から、PRFsは内部報酬パラメータを変更せずに、視覚的タスク記述のみを用いて複雑な行動の学習を支援できることを示している。