[論文レビュー] SECANT: Self-Expert Cloning for Zero-Shot Generalization of Visual Policies

Linxi Fan, Guanzhi Wang+5 more|arXiv (Cornell University)|Jun 17, 2021

Multimodal Machine Learning Applications参考文献 70被引用数 14

ひとこと要約

Secantは、弱いデータ拡張を用いて強化学習でポリシーを事前学習し、その後強いデータ拡張を用いて学生ネットワークに知識蒸留を行う二段階の自己専門家クローンフレームワークを提案する。このアプローチにより、4つの視覚的強化学習ドメインにおいて最先端のゼロショット一般化性能を達成し、平均報酬向上率は26.5%（DMControl）、337.8%（ロボット操作）、47.7%（自動運転）、15.8%（屋内ナビゲーション）を記録した。

ABSTRACT

Generalization has been a long-standing challenge for reinforcement learning (RL). Visual RL, in particular, can be easily distracted by irrelevant factors in high-dimensional observation space. In this work, we consider robust policy learning which targets zero-shot generalization to unseen visual environments with large distributional shift. We propose SECANT, a novel self-expert cloning technique that leverages image augmentation in two stages to decouple robust representation learning from policy optimization. Specifically, an expert policy is first trained by RL from scratch with weak augmentations. A student network then learns to mimic the expert policy by supervised learning with strong augmentations, making its representation more robust against visual variations compared to the expert. Extensive experiments demonstrate that SECANT significantly advances the state of the art in zero-shot generalization across 4 challenging domains. Our average reward improvements over prior SOTAs are: DeepMind Control (+26.5%), robotic manipulation (+337.8%), vision-based autonomous driving (+47.7%), and indoor object navigation (+15.8%). Code release and video are available at https://linxifan.github.io/secant-site/.

研究の動機と目的

• 大きな視覚的分布シフトにさらされた視覚的強化学習におけるゼロショット一般化の課題に取り組む。
• 強化学習における代表的表現学習と訓練安定性のトレードオフを解消するため、ポリシー最適化と表現の頑健性を分離する。
• テスト時適応や報酬信号なしに、未観測の視覚的環境に一般化可能な手法を開発する。
• ロボティクス、自動運転、ナビゲーションを含む多様で現実的な視覚ドメインにおいて、優れた性能を示す。

提案手法

• 元の環境で弱い拡張（例：ランダムクロッピング）のみを用いて、強化学習により専門家ポリシーを学習する。
• 入力観測に強い拡張（例：Cutout、Mixup、Cutmix、ガウスノイズ）を適用し、教師付き学習により学生ネットワークが専門家の行動を模倣するように訓練する。
• 第一段階で強化学習、第二段階で教師付き模倣を行うことで、ポリシー学習と頑健な表現学習を分離する。
• 学生の訓練中に同じ専門家ポリシーが真の行動を提供することで、視覚的汚染に対してもポリシー性能が維持される。
• 学生の訓練時に強い拡張を適用することで、不要な視覚的変動に対して不変性を学習させ、ゼロショット一般化性能を向上させる。
• テスト環境を訓練中に露出させず、テスト時適応を一切行わないことで、厳密なゼロショット設定を保証する。

実験結果

リサーチクエスチョン

• RQ1 ポリシー最適化と頑健な表現学習を分離する二段階アプローチが、視覚的強化学習におけるゼロショット一般化を改善できるか？
• RQ2 Cutmix や Mixup といった強力なデータ拡張を、強化学習訓練ではなく模倣学習の段階で適用した場合、どの程度有効か？
• RQ3 強い拡張を用いた自己専門家クローンが、大きな視覚的分布シフトを示すドメインで、先行SOTA手法をどの程度上回るか？
• RQ4 サイクル整合性とサリエンシー図の指標で測定した場合、提案手法はベースラインと比較してよりタスク関連性が高く頑健な視覚的表現を学習するか？
• RQ5 PAD などの勾配ベースのテスト時適応を要する手法と比較して、Secantの推論速度はどの程度高速か？

主な発見

• DeepMind Control Suiteにおいて、Secantはゼロショット一般化の下で先行SOTAより平均報酬で26.5%向上した。
• ロボット操作タスクにおいて、Secantは先行SOTA手法と比較して性能を337.8%向上させた。
• CARLAにおける視覚ベースの自動運転タスクでは、多様な天候や照明条件下でも、Secantは先行SOTAより47.7%遠くまで走行できた。
• iGibsonにおける屋内ナビゲーションでは、未確認の部屋や新しいテクスチャ・レイアウトを持つ環境でも、Secantは15.8%高い成功率を達成した。
• CPUではPADの65倍、GPUでは42倍高速であり、勾配フリーで推論効率の高いアーキテクチャのおかげである。
• サリエンシー図とサイクル整合性解析により、Secantがベースラインよりもより頑健でタスク関連性の高い視覚的表現を学習していることが確認された。