[論文レビュー] A Taxonomy of Similarity Metrics for Markov Decision Processes

Álvaro Visús, Javier García+1 more|arXiv (Cornell University)|Mar 8, 2021

Reinforcement Learning in Robotics参考文献 29被引用数 9

ひとこと要約

本論文は、強化学習の転移学習における適切な類似度指標の選択を支援するため、マルコフ決定過程（MDP）の類似度指標を「モデルベース」と「パフォーマンスベース」の2つのカテゴリーに分類する新規の分類法を提案する。主な貢献は、転移手法とタスク特性に応じた指標選択を可能にする構造的フレームワークの構築であり、負の転移を低減し、シミュレーションから実世界への応用など複雑な環境における学習効率を向上させる。

ABSTRACT

Although the notion of task similarity is potentially interesting in a wide range of areas such as curriculum learning or automated planning, it has mostly been tied to transfer learning. Transfer is based on the idea of reusing the knowledge acquired in the learning of a set of source tasks to a new learning process in a target task, assuming that the target and source tasks are close enough. In recent years, transfer learning has succeeded in making Reinforcement Learning (RL) algorithms more efficient (e.g., by reducing the number of samples needed to achieve the (near-)optimal performance). Transfer in RL is based on the core concept of similarity: whenever the tasks are similar, the transferred knowledge can be reused to solve the target task and significantly improve the learning performance. Therefore, the selection of good metrics to measure these similarities is a critical aspect when building transfer RL algorithms, especially when this knowledge is transferred from simulation to the real world. In the literature, there are many metrics to measure the similarity between MDPs, hence, many definitions of similarity or its complement distance have been considered. In this paper, we propose a categorization of these metrics and analyze the definitions of similarity proposed so far, taking into account such categorization. We also follow this taxonomy to survey the existing literature, as well as suggesting future directions for the construction of new metrics.

研究の動機と目的

• 強化学習における効果的な転移学習を実現するための適切な類似度指標の選択という重要な課題に取り組む。
• 類似度指標の背後にある原理と計算基準に基づき、既存のMDP類似度指標を特定・分類する。
• 特定の転移手法とタスクタイプに適合した指標選択を支援する構造的分類法を提供する。
• 人間の直感とタスク構造をよりよく反映するハイブリッドまたは意味的認識型類似度指標の開発を促進する、今後の研究を導く。
• 転移学習を超えた応用、例えばカリキュラム学習、自動計画、シミュレーションから実世界へのポリシー転移を支援する。

提案手法

• 2本の分類軸を提案：構造的MDP要因（状態、行動、遷移、報酬など）に基づく「モデルベース」指標と、エージェントの行動または学習成果に基づく「パフォーマンスベース」指標。
• 遷移ダイナミクス、報酬関数、またはポリシー性能の比較といった計算手法に応じて、既存の指標を分類する。
• 学習前指標（モデルベース）と、オンラインまたは学習後指標（パフォーマンスベース）を区別する。後者はリユースゲイン、ジャンプスタート、漸近的パフォーマンスなどを含む。
• 文献を体系的に調査・整理するため、分類法を用いてMDP類似度に関する研究を調査し、アプローチ間のギャップと共通点を明らかにする。
• 学習中に類似度推定が進化するのを受けて、探索バイアスを動的に調整するための動的指標適応のアイデアを導入する。
• マップのレイアウトやPac-Manにおけるゴーストの行動といった意味的特徴を類似度指標に統合し、人間のタスク類似度認識に一致させる提案を行う。

実験結果

リサーチクエスチョン

• RQ1 強化学習における転移学習を支援するため、MDP間の類似度を体系的に分類する方法は何か？
• RQ2 計算方法、タイミング、有用性の観点から、モデルベース指標とパフォーマンスベース指標の主な違いは何か？
• RQ3 類似度指標は、現実世界の強化学習応用において、負の転移を低減し、学習効率を向上させるのにどの程度効果的か？
• RQ4 学習プロセス中に類似度指標を動的に更新することで、探索戦略を適応的に調整できるか？
• RQ5 意味的またはドメイン固有の特徴を類似度指標に統合することで、人間の直感との整合性を高められるか？

主な発見

• 分類法は、学習前に行える構造的MDP要因に基づくモデルベース指標と、学習成果を必要とし通常は後処理で計算されるパフォーマンスベース指標の区別に成功している。
• リユースゲイン、ジャンプスタート、漸近的パフォーマンスといったパフォーマンスベース指標は、正の転移の目的に直結しており、タスク類似度の指標としてより効果的であることが示された。
• モデルベース指標は、候補となるソースタスクの事前スクリーニングに有用だが、性能に影響を与えない構造的差異があるため、必ずしも正の転移を予測できるわけではない。
• オンラインでの類似度計算により、探索バイアスの動的調整が可能となり、静的前処理と後処理評価の中間的アプローチが得られる。
• 万能の指標は存在しない。最適な指標は、転移手法とタスク文脈に依存するため、指標と手法の整合性を高める必要がある。
• 今後の指標は、構造的特徴、パフォーマンス特徴、意味的特徴を統合することで、人間の類似度認識に近づけ、シミュレーションから実世界へのポリシー転移を改善できるようになるべきである。