[論文レビュー] Gradient-free Policy Architecture Search and Adaptation

Sayna Ebrahimi, Anna Rohrbach+1 more|arXiv (Cornell University)|Oct 16, 2017

Reinforcement Learning in Robotics参考文献 21被引用数 12

ひとこと要約

本稿では、エキスパートのデモと環境報酬を併用することで、安全で高性能な自律走行ポリシーを学習する勾配フリーのポリシー・アーキテクチャ探索および適応手法を提案する。ターゲットドメインの報酬のみを用いてネットワークアーキテクチャの最適化とドメインシフトへの適応を同時に行うことで、累積的な衝突回数を削減し、ベースライン手法に比べ優れた性能を達成する。

ABSTRACT

We develop a method for policy architecture search and adaptation via gradient-free optimization which can learn to perform autonomous driving tasks. By learning from both demonstration and environmental reward we develop a model that can learn with relatively few early catastrophic failures. We first learn an architecture of appropriate complexity to perceive aspects of world state relevant to the expert demonstration, and then mitigate the effect of domain-shift during deployment by adapting a policy demonstrated in a source domain to rewards obtained in a target environment. We show that our approach allows safer learning than baseline methods, offering a reduced cumulative crash metric over the agent's lifetime as it learns to drive in a realistic simulated environment.

研究の動機と目的

• ポリシー学習中の危険な探索を最小限に抑えることで、早期の深刻な失敗を回避すること。
• ターゲットドメインのデモを必要とせずに、照明や天候などのドメインシフトに対してもポリシーの汎化性能を向上させること。
• エキスパートのデモと環境報酬の両方を用いて、ポリシーのアーキテクチャとパラメータを統合的に最適化し、より安全で効率的な学習を実現すること。
• ターゲットドメインのデモやアライメントを一切不要とすることで、ソースドメインのポリシーを視覚的に異なる新しい環境に効果的に適応させること。

提案手法

• 文献[16]にインspiredされた勾配フリー最適化アルゴリズムに、より正確で効率的な勾配推定を可能にする改善されたノイズ生成手法を組み込んだ。
• 進化的探索を用いて可変長のニューラルネットワーク構造のアーキテクチャ探索を実施し、認識および制御の最適なポリシー・アーキテクチャを同定する。
• ターゲットドメインにおけるエキスパートのデモからの行動クラーニングと環境報酬からの強化学習を統合してポリシーネットワークを訓練する。
• ターゲットドメインにおけるデモやアライメントを一切不要とし、報酬に基づくファインチューニングにより、事前学習済みのソースドメインポリシーをターゲットドメインに適応させる。
• アーキテクチャ探索中に精度とモデルサイズのバランスを取るための複合報酬関数を用いる。
• GTA5シミュレーション環境上でエンドツーエンドの訓練を実施し、ステアリング、ブレーキ、アクセル予測のパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 固定または手動設計されたアーキテクチャと比較して、勾配フリーのアーキテクチャ探索は自律走行におけるポリシー性能と安全性を向上させ得るか？
• RQ2 デモと環境報酬の統合学習は、ポリシー学習中の衝突削減にどの程度効果的か？
• RQ3 1つのドメインで学習したポリシーが、報酬フィードバックのみを用いて、視覚的に異なる新しいドメインにどの程度適応可能か？
• RQ4 性能とコンactさの両方を最適化するポリシー・アーキテクチャの最適化は、より良い汎化性と安全性をもたらすか？

主な発見

• 提案手法は、デモや報酬に依存するベースラインと比較して、学習中の累積的衝突回数を削減した。
• 適応済みポリシーは53時間の学習後（エピソード#832）に平均報酬100%に達し、最適でないベースラインが97.3%で plateau に達するのを上回った。
• 歩行者横断帯のような複雑なシーンでは、適応済みモデルはブレーキ（0.956）とアクセル（0.052）を正しく予測したが、行動クラーニングで学習したモデルは誤って走行を継続した（ブレーキ：0.191）。
• ソースおよびターゲット報酬を用いて訓練した大規模ネットワークは、ターゲットドメインでテスト損失3×10⁻⁵を達成し、Bojarski et al. [3]の1.85×10⁻⁴を著しく上回った。
• ステアリング角予測は、すべての設定でほぼ完璧な性能（損失 ≈ 10⁻⁵）を示し、この制御信号に対する頑健性を示した。
• デモ分布から大きく離れた初期化でも、本手法はドメインシフトに対して効果的な適応を示し、その耐性を示した。