[論文レビュー] A Survey of Zero-shot Generalisation in Deep Reinforcement Learning

Robert Kirk, Amy Zhang+2 more|arXiv (Cornell University)|Nov 18, 2021

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

本サーベイは、深層強化学習におけるゼロショット一般化（ZSG）の統一的フォーマルィズムを提供し、文脈タイプ、分布シフト、一般化モードによってZSG問題を分類する。ベンチマークと手法をレビューし、オフラインRL ZSG や報酬関数の変動といった未だ十分に検討されていない分野を特定。実世界での導入に向けた耐障害性を高めるために、高速なオンライン適応と構造的MDPの導入を提言する。

ABSTRACT

The study of zero-shot generalisation (ZSG) in deep Reinforcement Learning (RL) aims to produce RL algorithms whose policies generalise well to novel unseen situations at deployment time, avoiding overfitting to their training environments. Tackling this is vital if we are to deploy reinforcement learning algorithms in real world scenarios, where the environment will be diverse, dynamic and unpredictable. This survey is an overview of this nascent field. We rely on a unifying formalism and terminology for discussing different ZSG problems, building upon previous works. We go on to categorise existing benchmarks for ZSG, as well as current methods for tackling these problems. Finally, we provide a critical discussion of the current state of the field, including recommendations for future work. Among other conclusions, we argue that taking a purely procedural content generation approach to benchmark design is not conducive to progress in ZSG, we suggest fast online adaptation and tackling RL-specific problems as some areas for future work on methods for ZSG, and we recommend building benchmarks in underexplored problem settings such as offline RL ZSG and reward-function variation.

研究の動機と目的

• 深層強化学習におけるゼロショット一般化（ZSG）の統一的フォーマルィズムを確立し、分布内一般化と分布外一般化の区別を行う。
• 既存のZSGベンチマークを分類し、現在の手続き的コンテンツ生成アプローチにおける制限を強調する。
• ZSGの現在の手法を分析し、組み合わせ的、補間的、外挿的一般化の処理における長所と短所を特定する。
• 将来的な研究のために未だ十分に検討されていないが重要な問題設定（例：オフラインRL ZSG や報酬関数の変動）を同定する。
• 実世界での耐障害性を向上させるために、高速なオンライン適応や構造的MDPといった手法的アプローチを提言する。

提案手法

• 文脈的MDP（CMDP）に基づくフォーマルフレームワークを提案し、観測済みおよび未観測の文脈、および異なる種類の分布シフトを区別する。
• ZSGをサブタイプに分解：組み合わせ的対非組み合わせ的、補間的対外挿的、単一要因対多様要因一般化。
• 環境の分布シフト（IID 対 OOD）、文脈の可視性、タスクの多様性の次元に沿ってベンチマークを分類。
• 構造的仮定を活用して一般化を促進する要因分解MDP、関係的MDP、ブロックMDPなどの手法をレビュー。
• 状態空間の複雑さを低減し、サンプル効率の良い学習を可能にするために、特に要因分解型およびブロックMDPを強調。
• 報酬関数の変動を変動させたり、オフラインRL設定を探索するなど、実世界の導入制約をよりよく反映するベンチマークの設計を提言。

実験結果

リサーチクエスチョン

• RQ1 深層RLにおけるゼロショット一般化は、多様な問題設定において一貫的かつ明確に定式化可能か？
• RQ2 補間的対外挿的、単一要因対多様要因一般化といった、さまざまなZSGタイプの主な違いは何か？
• RQ3 手続き的コンテンツ生成に依存する現在のベンチマークは、なぜZSG分野の進展を促進するのに不十分なのか？
• RQ4 構造的MDPや高速なオンライン適応といった手法的アプローチは、未知の環境におけるZSG性能をどのように向上させ得るか？
• RQ5 オフラインRLや報酬関数の変動といった問題設定は、なぜ未だ十分に検討されていないが、実世界のRL導入において極めて重要なのか？

主な発見

• 文脈的MDPに基づく統一的フォーマルィズムにより、ZSG問題の明確な比較と分類が可能となり、分布内一般化と分布外一般化の区別が可能になる。
• 現在のベンチマークはしばしば手続き的コンテンツ生成に依存しており、実世界の分布シフトを適切に反映していない可能性があり、評価における過剰適合を引き起こすおそれがある。
• 要因分解MDPとブロックMDPは、要因の未確認組み合わせへの体系的一般化を支援する構造的インダクティブバイアスを提供し、サンプル効率を向上させる。
• 関係的およびオブジェクト指向MDPは、複雑なオブジェクトベース環境のためのフォーマルィズムを提供するが、スケーラブルな深層RL学習にはあまり適さないことがある。
• オフラインRL ZSG や報酬関数の変動に対する堅牢なベンチマークが、実世界の導入において環境ダイナミクスや報酬が変化する可能性があることを踏まえて、依然として不足している。
• 今後の研究は、ドメイン適応やメタRLといったゼロショット制約に反する手法よりも、高速なオンライン適応やRL特化手法の開発を優先すべきである。