[論文レビュー] Cascade Attribute Learning Network

Zhuo Xu, Haonan Chang+1 more|arXiv (Cornell University)|Nov 24, 2017

Reinforcement Learning in Robotics参考文献 20被引用数 6

ひとこと要約

本論文は、位置、速度、障害物回避など、タスク固有の属性を別々に学習し、それを段階的に組み合わせることで複雑な制御タスクを解く、モジュラーな強化学習フレームワーク「Cascade Attribute Learning Network (CALNet)」を提案する。CALNetは事前学習済みの属性モジュールを再利用することで、未確認のタスクに対してもゼロショット一般化を可能にし、標準的なRLに比べてより高速な学習と優れたパフォーマンスを達成する。実験では、スパarsely-rewardedタスクにおいて10倍以上の高速な収束が確認された。

ABSTRACT

We propose the cascade attribute learning network (CALNet), which can learn attributes in a control task separately and assemble them together. Our contribution is twofold: first we propose attribute learning in reinforcement learning (RL). Attributes used to be modeled using constraint functions or terms in the objective function, making it hard to transfer. Attribute learning, on the other hand, models these task properties as modules in the policy network. We also propose using novel cascading compensative networks in the CALNet to learn and assemble attributes. Using the CALNet, one can zero shoot an unseen task by separately learning all its attributes, and assembling the attribute modules. We have validated the capacity of our model on a wide variety of control problems with attributes in time, position, velocity and acceleration phases.

研究の動機と目的

• 複雑で高次元な制御タスクにおける標準的強化学習の、高いサンプル複雑性と低い転送性の課題に対処すること。
• 速度制限や障害物回避といった新しいタスク制約を追加する際、再訓練を必要としない固定ポリシー・アーキテクチャの制限を克服すること。
• ターゲット到達、障害物回避、速度制限などの解釈可能なグローバル属性にタスクを分解することで、モジュラーかつ再利用可能なポリシー学習を可能にすること。
• 事前学習済みの属性モジュールを段階的に接続することで、再トレーニングなしに新しいタスクをゼロショットでデプロイできるフレームワークを開発すること。
• 段階的モジュールによる属性学習が、標準的なRL手法に比べてスパースリワード環境における学習効率とパフォーマンスを向上させることを実証すること。

提案手法

• 各属性に特化したモジュラーなポリシーを段階的に接続する構造を持つ、新しい強化学習フレームワーク「Cascade Attribute Learning Network (CALNet)」を提案する。
• 各属性モジュールを、タスクの基本的ダイナミクス（例：ターゲット位置への到達）を捉える事前学習済みベースモジュールを用いたカリキュラム学習（CL）で訓練する。
• 各段階的モジュールは、直前のモジュールの出力と関連する状態情報を入力とし、以前の属性制約を尊重する階層的意思決定を可能にする。
• 共通のベースポリシー・ネットワークを基盤とし、その後に障害物回避、速度制限などの専用属性モジュールを積み重ねることで、段階的に行動を精緻化する。
• ベースポリシーのガイダンスを活用することで、スパースリワード環境における誤った報酬の影響を軽減し、学習の安定性と収束速度を向上させる。
• 再トレーニングなしに、以前に学習済みの属性モジュールを直列に接続することで、未確認の属性の組み合わせに対してもゼロショットタスク一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 モジュラー属性学習は、複雑な制御タスクにおける強化学習のサンプル効率と転送性を向上させ得るか？
• RQ2 事前学習済みの属性モジュールを段階的に接続することで、再トレーニングなしに新しい未確認のタスクを解けるか？
• RQ3 CALNetは、スパースリワード環境における学習速度とパフォーマンスの点で、標準的なRLアルゴリズムと比べてどのように差をつけるか？
• RQ4 段階的属性モジュールは、複数の制約（例：障害物を避けながらターゲットに到達する）を同時に処理できるか、その程度はいかほどか？
• RQ5 CALNetフレームワークは、異なるタスクやエージェント間で一般化可能であり、再利用可能で多様なポリシー学習を可能にするか？

主な発見

• CALNetは、事前学習済みの属性モジュールを組み合わせることで、新しいタスクに対するゼロショットデプロイを可能にし、新しいタスクの追加トレーニングなしに成功したタスク実行を達成した。
• 段階的構造により、ターゲット到達と障害物回避の両方を満たすような、未確認の組み合わせでも同時に満たすことができた。
• CALNetは、カリキュラム学習（CL）を用いたベースラインPPOに比べ、ターミナルランダムレベルに到達するまでの速度が10倍以上速く、著しく高速な学習が実現した。
• ベースラインRLにCLを適用した場合、スパースリワードと障害物による誤った罰則の影響により、効果的な学習が困難であったが、CALNetはガイド付きベースポリシーのおかげでこれらの問題を克服した。
• 段階的補正ネットワークの使用により、高次元かつ複雑な環境でも安定した学習と属性の有効な統合が可能になった。
• モジュラー設計により、状態空間の動的管理が可能であり、異なるタスクやエージェント間で属性モジュールを再利用でき、ポリシーの多様性が向上した。