[論文レビュー] Disentangling Transfer in Continual Reinforcement Learning

Maciej Wołczyk, Michał Zając+3 more|arXiv (Cornell University)|Sep 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、ソフトアクターキャリブレーター（SAC）の各構成要素であるエージェント、評価者、探索、リプレイバッファを体系的に分析することで、継続的強化学習（CRL）における知識移転の要因を解明する。提案手法のClonEx-SACは、方策の再現に行動コーディングを用い、複数の方策を用いた探索を実装しており、継続的ワールドベンチマークで87%の最終的成績率と0.54のフォワード移転を達成し、PackNet（80%の成績、0.18の移転）を上回る性能を発揮した。

ABSTRACT

The ability of continual learning systems to transfer knowledge from previously seen tasks in order to maximize performance on new tasks is a significant challenge for the field, limiting the applicability of continual learning solutions to realistic scenarios. Consequently, this study aims to broaden our understanding of transfer and its driving forces in the specific case of continual reinforcement learning. We adopt SAC as the underlying RL algorithm and Continual World as a suite of continuous control tasks. We systematically study how different components of SAC (the actor and the critic, exploration, and data) affect transfer efficacy, and we provide recommendations regarding various modeling options. The best set of choices, dubbed ClonEx-SAC, is evaluated on the recent Continual World benchmark. ClonEx-SAC achieves 87% final success rate compared to 80% of PackNet, the best method in the benchmark. Moreover, the transfer grows from 0.18 to 0.54 according to the metric provided by Continual World.

研究の動機と目的

• 継続的強化学習（CRL）における知識移転の主な要因を、特にSACフレームワーク内で理解すること。
• エージェント、評価者、探索、リプレイデータといった個々の構成要素が移転効率に与える寄与を分離し、定量的に評価すること。
• 長時間のタスクシーケンスにおいて、悲観的忘却の緩和とフォワード移転の最大化の間のトレードオフを評価すること。
• 性能と移転性を同時に向上させる最適なアーキテクチャ的およびトレーニング設計選択を同定すること。
• 実証的アブレーションとアブレーション指向のアーキテクチャ設計に基づいた、効果的なCRLエージェント設計のための実務的推奨事項を提示すること。

提案手法

• フォワード移転への寄与を分離するために、2タスク設定でSACの構成要素（エージェント、評価者、探索、リプレイバッファ）を体系的にアブレーションする。
• 悲観的忘却の軽減を目的に、過去のエージェント方策を再現するための行動コーディング（BC）を採用する。
• 複数方策探索を導入：各タスクの開始時に、過去のすべてのタスクで最も高いパフォーマンスを示した方策を照会し、初期探索データを生成する。
• 10タスクおよび20タスクのシーケンスを用いた継続的ワールドベンチマークを用い、パフォーマンスとフォワード移転指標を評価する。
• 評価者正則化に関する広範なハイパーパramータースイープを実施し、正則化ベース、パラメータ隔離、再現ベースのCL手法を比較する。
• 10万回以上のトレーニング実行において、90%のブートストラップ信頼区間を用いて報告された指標の統計的妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 SACの構成要素（エージェント、評価者、探索、リプレイバッファ）の中で、CRLにおけるフォワード移転に最も顕著に寄与するのはどれか？
• RQ2 行動コーディングやリプレイバッファの再利用といった、知識再現戦略の違いが、平均パフォーマンスとフォワード移転に与える影響は何か？
• RQ3 評価者を正則化することで、継続的RLにおけるパフォーマンスや移転性が向上する程度はどの程度か？
• RQ4 過去のエージェント方策を活用する複数方策探索は、長期間のCRLシーケンスにおいて、標準的な探索戦略を上回る性能を発揮できるか？
• RQ5 忘却の緩和と移転の最大化の相互作用が、効果的なCRLエージェントの設計にどのように影響を与えるか？

主な発見

• 評価者の役割が移転において最も重要であり、探索とエージェントの寄与は小さいが無視できない。
• 構成要素の寄与は基本的に独立しており、CRLエージェントのモジュラー設計原理を示唆する。
• 過去のエージェント方策を再現するための行動コーディングは、平均パフォーマンス（87%の成績）とフォワード移転（0.54）の両方を顕著に向上させる。
• 過去のタスクのエージェント方策を再利用して探索を実行することで、顕著なパフォーマンス向上が得られ、方策再利用の価値を示している。
• 評価者の正則化はパフォーマンスを向上させず、特に高い正則化強度では逆に劣化させる傾向がある。
• ClonEx-SACは、CW10で87%の最終的成績率と0.54のフォワード移転を達成し、PackNet（80%と0.18）を上回った。フォワード移転は、探索を考慮したソフト上界に非常に近い値を示した。