[論文レビュー] Transferring Autonomous Driving Knowledge on Simulated and Real Intersections

David Isele, Akansel Cosgun|arXiv (Cornell University)|Nov 30, 2017

Reinforcement Learning in Robotics参考文献 23被引用数 14

ひとこと要約

この論文は、深層強化学習を用いた自律的交差点走行における知識の転送を調査し、事前学習されたDQNを新しい交差点タイプに微調整することで、ランダム初期化に比べて性能が著しく向上することを示している。さらに、シミュレーションから実世界への転送が有効であることも示しており、シミュレーションでの事前学習が実世界での学習を加速させ、一般化性能を向上させることを示している。

ABSTRACT

We view intersection handling on autonomous vehicles as a reinforcement learning problem, and study its behavior in a transfer learning setting. We show that a network trained on one type of intersection generally is not able to generalize to other intersections. However, a network that is pre-trained on one intersection and fine-tuned on another performs better on the new task compared to training in isolation. This network also retains knowledge of the prior task, even though some forgetting occurs. Finally, we show that the benefits of fine-tuning hold when transferring simulated intersection handling knowledge to a real autonomous vehicle.

研究の動機と目的

• 一つの交差点タイプで学習した知識が、他の交差点タイプに一般化するかどうかを評価すること。
• 新しい交差点タイプに事前学習済みポリシーを微調整することで、ランダム初期化に比べて学習効率と性能が向上するかどうかを調査すること。
• 逆転転送を評価する：新しいタスクで微調整した後、元のタスクの知識がどの程度保持されているか。
• シミュレーションで学習したポリシーを実世界の自律走行車両に転送する可能性を検討すること。
• 転移学習が、実世界での展開におけるサンプルの複雑さを低減し、耐性を向上させることを確認すること。

提案手法

• 状態、行動、報酬、遷移ダイナミクスを備えたマークフ・意思決定過程（MDP）として交差点処理を定式化する。
• 交差点走行における状態-行動ペアのQ値関数を表現するために、ディープQネットワーク（DQNs）を用いる。
• 異なる交差点タイプ間での知識転送を評価するために、直接コピー、微調整、逆転転送のプロトコルを採用する。
• シミュレーション環境からの転送を、事前学習と実データでの微調整を用いて、実世界の自律走行車両に適用する。
• カリキュラム風の訓練設定を採用し、ポリシーを最初にシミュレーションで訓練し、その後実車両データで適応させる。
• 学習速度と一般化性能を追跡する指標を用いて、トレーニングセットおよびテストセットにおける成功確率を評価する。

実験結果

リサーチクエスチョン

• RQ1 一つの交差点タイプで学習したDQNを別のタイプに直接転送した場合、どの程度一般化されるか？
• RQ2 新しい交差点タイプで事前学習済みDQNを微調整することで、ランダム初期化に比べて収束が速くなり、最終的な性能が向上するか？
• RQ3 新しいタスクで微調整した後、元のタスクの知識がどの程度保持されているか（逆転転送）？
• RQ4 シミュレーションで事前学習したポリシーを実世界データで効果的に微調整することで、実車両の性能が向上するか？
• RQ5 シミュレーションから実世界への転送ポリシーの性能は、完全に実データでのみ学習されたポリシーと比較して、訓練速度と一般化性能の面でどう異なるか？

主な発見

• 一つの交差点タイプで学習したDQNを別のタイプに直接転送した場合、一貫して低い成功確率にとどまり、一般化が不十分であることが示された。
• 新しい交差点タイプで事前学習済みDQNを微調整することで、ほぼすべてのケースでランダム初期化に比べて学習が速く、最終的な性能も向上した。
• 逆転転送の結果、新しいタスクで微調整した後も元のタスクの知識は部分的に保持されており、直接コピーに比べて元のタスクでの性能は優れていたが、完全に再学習したネットワークには及ばなかった。
• シミュレーションから実世界への転送は訓練を顕著に加速させた：シミュレーション事前学習済みネットワークは、実データのみで学習したネットワークが要する半分の反復回数でトレーニングデータで90％の成功率に達した。
• 収束が速いにもかかわらず、実データのみで学習したネットワークおよびシミュレーションから実世界への転送済みネットワークの両方で過学習が見られ、テスト性能は約80％の成功率で漸近した。
• 実データからシミュレーションへの転送は効果が低く、微調整された実データポリシーはシミュレーションに一般化できなかった。これは、限られた実データに過学習している可能性があるためである。