[論文レビュー] Identifying Co-Adaptation of Algorithmic and Implementational Innovations in Deep Reinforcement Learning: A Taxonomy and Case Study of Inference-based Algorithms.

Hiroki Furuta, Tadashi Kozuno+3 more|arXiv (Cornell University)|Mar 31, 2021

Reinforcement Learning in Robotics参考文献 58被引用数 4

ひとこと要約

本稿は、深層強化学習におけるアルゴリズム的革新と実装詳細を分離するための統一的推論ベースのフレームワークを提案する。単一のコントロール・アズ・インファレンス目的関数を用いる。性能に顕著な影響を与える共適応的実装選択（例：tanh方策、ネットワークサイズ）を同定し、実装の不一致が顕著な性能低下を引き起こすことを示している。一方で、一部のコンponents（例：レイヤー正則化）は異なるアルゴリズム間で転送可能であることが判明した。

ABSTRACT

Recently many algorithms were devised for reinforcement learning (RL) with function approximation. While they have clear algorithmic distinctions, they also have many implementation differences that are algorithm-agnostic and sometimes subtle. Such mixing of algorithmic novelty and implementation craftsmanship makes rigorous analyses of the sources of performance improvements difficult. In this work, we focus on a series of inference-based actor-critic algorithms -- MPO, AWR, and SAC -- to decouple their algorithmic innovations and implementation decisions. We present unified derivations through a single control-as-inference objective, where we can categorize each algorithm as based on either Expectation-Maximization (EM) or direct Kullback-Leibler (KL) divergence minimization and treat the rest of specifications as implementation details. We performed extensive ablation studies, and identified substantial performance drops whenever implementation details are mismatched for algorithmic choices. These results show which implementation details are co-adapted and co-evolved with algorithms, and which are transferable across algorithms: as examples, we identified that tanh policy and network sizes are highly adapted to algorithmic types, while layer normalization and ELU are critical for MPO's performances but also transfer to noticeable gains in SAC. We hope our work can inspire future work to further demystify sources of performance improvements across multiple algorithms and allow researchers to build on one another's both algorithmic and implementational innovations.

研究の動機と目的

• 深層強化学習におけるアルゴリズム的革新と実装的革新の混同という課題に取り組み、厳密な性能分析を阻害する要因を解消すること。
• 推論ベースのアクタ・クリティック・アルゴリズムにおいて、アルゴリズム的新規性と実装固有の選択を体系的に分離すること。
• 特定のアルゴリズムに共適応している実装詳細と、異なるアルゴリズム間で転送可能な実装詳細を同定すること。
• 最適化原理（EM対KL最小化）に基づいてアルゴリズムを分類する統一的理論的フレームワークを提供すること。
• アルゴリズム的革新の源を明確にすることで、より透明性が高く再現可能で累積的な進展を実現すること。

提案手法

• MPO、AWR、SACを包含する統一的コントロール・アズ・インファレンス目的関数を導出することで、一貫した比較を可能にする。
• 各アルゴリズムが期待最大化（EM）か直接的なカルバック・ライブラー（KL）ダイバージェンス最小化を使用するかに基づいて分類する。
• 活性化関数、正則化、ネットワークアーキテクチャなど、その他のすべての仕様を実装詳細とみなす。
• 異なるアルゴリズムタイプ間で実装コンponentsを体系的に変更することで、広範なアブレーションスタディを実施する。
• 制御された実験を用いて、個々の実装選択が最終性能に与える影響を隔離する。
• 統一フレームワークを用いて、実装詳細とアルゴリズム設計選択の間の共進化の仕組みを分析する。

実験結果

リサーチクエスチョン

• RQ1 推論ベースの強化学習アルゴリズムにおいて、どの実装詳細が特定のアルゴリズム的選択と共適応しているか？
• RQ2 どの程度、実装コンponentsを異なるアルゴリズムに移行させても性能劣化が生じないか？
• RQ3 アルゴリズム的差異（EM 対 KL 最小化）は、実装選択に対する性能感受性にどのように影響するか？
• RQ4 実装詳細の不一致がアルゴリズム性能に与える影響は何か？
• RQ5 どの実装コンポーネントが複数のアルゴリズムで一貫した向上をもたらし、一般性を持つと示唆されるか？

主な発見

• 実装詳細とアルゴリズム的タイプの不一致は顕著な性能低下を引き起こし、強い共適応関係を示している。
• tanh方策とネットワークサイズは特定のアルゴリズム的タイプと強く共適応しており、無差別に移行すべきでない。
• レイヤー正則化とELU活性化関数はMPOの性能にとって重要であり、SACに対しても顕著な向上をもたらすため、転送可能な利点を有する。
• バッチ正則化やReLUといった実装コンポーネントは、アルゴリズム間で一貫した向上を示さないため、一般化可能性が限定的であると示唆される。
• 統一的推論ベースのフレームワークは、アルゴリズム設計と実装選択の間の隠れた依存関係を効果的に明らかにした。
• ELU やレイヤー正則化といった一部の実装選択は、異なるアルゴリズムファミリーにわたり一貫した性能向上をもたらし、広範な再利用の可能性を示唆している。