[論文レビュー] Of Moments and Matching: Trade-offs and Treatments in Imitation Learning.

Gokul Swamy, Sanjiban Choudhury+2 more|arXiv (Cornell University)|Mar 4, 2021

Reinforcement Learning in Robotics参考文献 26被引用数 2

ひとこと要約

この論文は、専門家の行動の報酬またはアクション価値のモーメントを一致させるという観点から、強化学習の模倣学習アルゴリズムを分類することで、模倣学習の包括的フレームワークを提示する。理論的性能バウンドと強力な実験的結果を伴う2つの新しいアルゴリズム、AdVIL と AdRIL を提案し、誤差の累積を軽減するための回復可能性（recoverability）の概念を導入する。

ABSTRACT

We provide a unifying view of a large family of previous imitation learning algorithms through the lens of moment matching. At its core, our classification scheme is based on whether the learner attempts to match (1) reward or (2) action-value moments of the expert's behavior, with each option leading to differing algorithmic approaches. By considering adversarially chosen divergences between learner and expert behavior, we are able to derive bounds on policy performance that apply for all algorithms in each of these classes, the first to our knowledge. We also introduce the notion of recoverability, implicit in many previous analyses of imitation learning, which allows us to cleanly delineate how well each algorithmic family is able to mitigate compounding errors. We derive two novel algorithm templates, AdVIL and AdRIL, with strong guarantees, simple implementation, and competitive empirical performance.

研究の動機と目的

• 報酬モーメントまたはアクション価値モーメントの一致という観点から、広範な模倣学習アルゴリズムの統一を図ること。
• 報酬モーメントとアクション価値モーメントの一致の間のトレードオフを、方策学習の観点から分析すること。
• 各モーメント一致クラスに属するすべてのアルゴリズムに適用可能な一般化された性能バウンドを導出すること。
• 誤差の累積を軽減する能力を評価するための回復可能性（recoverability）という概念を形式化すること。
• 強い理論的保証と実用的性能を併せ持つ、新しいアルゴリズムテンプレート AdVIL と AdRIL を開発すること。

提案手法

• 専門家の行動の報酬モーメントかアクション価値モーメントを一致させるかに基づいて、模倣学習アルゴリズムを分類すること。
• 専門家と学習者ポリシー間の敵対的に選ばれた発散（divergence）を用いて、一般化された性能バウンドを導出すること。
• 誤差の累積を軽減する能力を測る指標として、回復可能性（recoverability）の概念を導入すること。
• モーメント一致に基づく2つの新しいアルゴリズムテンプレート、AdVIL（敵対的模倣学習）と AdRIL（敵対的報酬模倣学習）を設計すること。
• 理論的保証のもとでポリシー性能を最適化するモーメント一致の目的関数としてアルゴリズムを定式化すること。
• 構造化された最適化目的関数により、実装が簡単で、実験的にも競争力のある性能を確保すること。

実験結果

リサーチクエスチョン

• RQ1 モーメント一致という観点から分類した場合、異なる模倣学習アルゴリズムはどのように比較できるか？
• RQ2 報酬モーメントとアクション価値モーメントを一致させるアルゴリズムの理論的性能バウンドは何か？
• RQ3 回復可能性（recoverability）の概念は、模倣学習アルゴリズムが誤差の累積を軽減する能力にどのように影響するか？
• RQ4 強い理論的保証と実用的性能を併せ持つ新しいアルゴリズムテンプレートを導出できるか？
• RQ5 敵対的な発散選択が、模倣学習におけるポリシー性能バウンドに与える影響は何か？

主な発見

• 本論文は、報酬モーメント一致とアクション価値モーメント一致の2つのクラスに属するすべてのアルゴリズムに適用可能な、初めての一般化された性能バウンドを確立した。
• 回復可能性（recoverability）が形式的に定義され、誤差の累積を軽減する能力を評価する明確な指標として示された。
• AdVIL と AdRIL は、強い理論的保証と競争力のある実験的性能を備えた、新しいアルゴリズムテンプレートとして導入された。
• 理論的分析により、モーメント一致アプローチが、発散の選択と回復可能性の性質に依存する性能バウンドをもたらすことが明らかになった。
• 本フレームワークにより、モーメント一致の目的関数に基づく統一された分類に基づいて、既存のアルゴリズムを体系的に比較可能になった。
• 実験的結果は、AdVIL と AdRIL が実装の簡素さを保ちながらも、競争力のある性能を達成していることを示した。