[論文レビュー] Transfer from Multiple MDPs

Alessandro Lazaric, Marcello Restelli|arXiv (Cornell University)|Aug 31, 2011

Reinforcement Learning in Robotics参考文献 11被引用数 30

ひとこと要約

本稿は、複数のソースMDP（マルコフ決定過程）からターゲットMDPにおける学習を加速するために、経験サンプルを転送するための理論的かつアルゴリズム的枠組みを提案する。適応的アルゴリズム（BATおよびBTT）を導入し、タスクの類似度に基づいて動的にソースサンプルの重みを割り当てる。これにより、負の転送を著しく低減し、特にターゲットデータが限られる状況において、サンプル効率を向上させる。

ABSTRACT

Transfer reinforcement learning (RL) methods leverage on the experience collected on a set of source tasks to speed-up RL algorithms. A simple and effective approach is to transfer samples from source tasks and include them into the training set used to solve a given target task. In this paper, we investigate the theoretical properties of this transfer method and we introduce novel algorithms adapting the transfer process on the basis of the similarity between source and target tasks. Finally, we report illustrative experimental results in a continuous chain problem.

研究の動機と目的

• 強化学習において、複数の類似しないソースタスクから得たサンプルを再利用する際の負の転送の課題に対処すること。
• RLにおけるサンプル転送問題を形式化し、有限サンプル性能を分析することで理論的基盤を確立すること。
• ターゲットタスクとの類似度に基づいて、自動的にターゲットタスクに最適なソースタスクを選択・重み付けする適応的アルゴリズムを設計すること。
• 転移学習において、訓練データ量の増加と、類似度の低いソースサンプルによるバイアスの間のトレードオフを調査すること。
• 連続的チェーンMDP環境において理論的発見の実験的妥当性を検証し、サンプル効率の向上と負の転送へのロバストネスを示すこと。

提案手法

• すべてのソースサンプルをフィルタリングせずにターゲット学習セットに統合するベースラインアルゴリズムであるAST（All-Source Transfer）を提案する。
• ソースMDPとターゲットMDPの類似度を測る指標を用いて、最適なソースタスクのサブセットを選択するBAT（Best-Action Transfer）を導入する。
• 推定されたタスク類似度に基づいて、動的にソースの重みを調整することで、転送の利点とバイアスの両方をバランスさせる、より高度なBTT（Bias-Tradeoff Transfer）を考案する。
• サンプルがタスクのカテゴリに従って多項分布に従って生成される生成モデルを用いて、転送問題を形式化する。
• 学習にFQI（Fitted Q-Iteration）をベースアルゴリズムとして採用し、転送サンプルを学習データセットに統合する。
• 理論的分析により、ASTおよびBATの一般化誤差を境界づける。その結果、性能はソースタスクが形成する平均MDPとターゲットとの類似度に依存することが示された。

実験結果

リサーチクエスチョン

• RQ1 複数のソースMDPからサンプルを転送することは、強化学習における一般化誤差とサンプル複雑度にどのように影響するか？
• RQ2 類似度の低いソースサンプルを含めることの、ターゲットタスク学習性能に与える理論的影響は何か？
• RQ3 類似度に基づくソースタスクの適応的選択は、単純な集約と比較して、負の転送を低減し、学習効率を向上させることができるか？
• RQ4 データ量（多くのサンプル）とデータ品質（類似度が高い）のトレードオフが、RLにおける転移学習の性能にどのように影響するか？
• RQ5 限られたソースサンプルがある状況において、BTTのような適応的アルゴリズムは、このトレードオフをどの程度効果的に管理できるか？

主な発見

• 理論的分析により、ASTの性能はソースタスクが形成する平均MDPに依存し、誤差はターゲットMDPと平均ソースMDPとの距離によって境界づけられることが示された。
• BATは類似度の高いソースタスクのみを選択することでバイアスを低減し、ソースタスクの類似度がターゲットと異なる場合、ASTよりも優れた性能を示した。
• BTTはデータ量と類似度のトレードオフを効果的に管理し、ターゲットデータが限られる状況では、単一タスク学習や非適応的転送を上回る性能を発揮した。
• チェーンMDPにおける実験結果から、特にBTTによる適応的転送が、ターゲットサンプルが限られる状況で学習を著しく加速することが確認された。
• ソースサンプル数を5,000から10,000に増加させても、初期学習性能は向上するが、最終的な性能に影響はなかった。これは、BTTが負の転送を回避できる能力を有することを裏付けた。
• BTTアルゴリズムは、ターゲットデータが増加するに従い、ソースサンプルへの依存度を低下させることに成功し、データの可用性に応じた知的な適応を示した。