[論文レビュー] Analyzing Knowledge Transfer in Deep Q-Networks for Autonomously Handling Multiple Intersections

David Isele, Akansel Cosgun+1 more|arXiv (Cornell University)|May 2, 2017

Adversarial Robustness in Machine Learning参考文献 21被引用数 12

ひとこと要約

本論文は、交差点における自律走行のための深層Qネットワーク（DQN）における知識の転送を調査し、5つの交差点タイプにおいて直接転送、ファインチューニング、逆転送、および生涯学習の効果を評価している。ファインチューニングは、新たなタスクにおけるパフォーマンスを向上させつつ、以前のタスクの知識の一部を保持するが、生涯学習では深刻な忘却が生じ、継続的強化学習における長期記憶メカニズムの必要性を浮き彫りにしている。

ABSTRACT

We analyze how the knowledge to autonomously handle one type of intersection, represented as a Deep Q-Network, translates to other types of intersections (tasks). We view intersection handling as a deep reinforcement learning problem, which approximates the state action Q function as a deep neural network. Using a traffic simulator, we show that directly copying a network trained for one type of intersection to another type of intersection decreases the success rate. We also show that when a network that is pre-trained on Task A and then is fine-tuned on a Task B, the resulting network not only performs better on the Task B than an network exclusively trained on Task A, but also retained knowledge on the Task A. Finally, we examine a lifelong learning setting, where we train a single network on five different types of intersections sequentially and show that the resulting network exhibited catastrophic forgetting of knowledge on previous tasks. This result suggests a need for a long-term memory component to preserve knowledge.

研究の動機と目的

• 1つの交差点タイプで訓練されたDQNから得られる知識が、他の交差点タイプにどの程度転送されるかを評価すること。
• 事前学習済みDQNを新しい交差点タイプでファインチューニングすることで、ランダム初期化と比較して学習効率とパフォーマンスが向上するかを調査すること。
• 新しいタスクでファインチューニングを行った後、元のタスクの知識がどの程度保持されているか（逆転送）を評価すること。
• 1つのDQNを複数の交差点タイプに順次訓練する生涯学習のシナリオを検討し、特に深刻な忘却のような課題を特定すること。

提案手法

• 深層強化学習を用いて交差点処理を定式化し、Q値関数を近似するための深層Qネットワーク（DQN）を採用する。
• 単線形右折、左折、前進、多線形左折2（Left2）、およびチャレンジ設定の5つの異なる交差点タイプを含む交通シミュレーション環境でDQNを訓練する。
• 直接コピーを実装し、訓練済みDQNを他のタスクにそのまま転送する（追加学習なし）。
• ファインチューニングを適用し、ソースタスクの事前学習済み重みで初期化したDQNをターゲットタスクで継続的に訓練する。
• 逆転送を測定するため、ファインチューニング済みネットワークを元のソースタスクで再評価し、知識保持度を評価する。
• 生涯学習を実施し、1つのDQNを5つの交差点タイプを順次訓練する形で学習を進め、以前のタスクでのパフォーマンス低下をモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 1つの交差点タイプで訓練されたDQNを直接別のタイプに転送した場合、一般化性能はどの程度であるか？
• RQ2 ソースタスクで事前学習済みのDQNを新しいタスクでファインチューニングすることで、ランダム初期化と比較してパフォーマンスが向上するか？
• RQ3 新しいタスクでファインチューニングを行った後、どの程度ソースタスクの知識が保持されているか（逆転送）？
• RQ4 複数の交差点タイプに順次訓練を行う生涯学習設定では、特に深刻な忘却の観点から、どのような影響が生じるか？

主な発見

• 1つの交差点タイプで訓練されたDQNを直接別のタイプに転送した場合、常にそのタスクに特化した学習より低い成功確率に留まり、他のタスクで優れた性能を示す事例は一切なかった。
• ソースタスクで事前学習済みのDQNをファインチューニングすることで、ランダム初期化と比較して、収束速度（ジャンプスタート効果）と漸近的パフォーマンスの両面で顕著な向上が得られた。
• ファインチューニング後、ネットワークはソースタスクの知識を測定可能な程度で保持しており、ターゲットタスクから直接コピーした場合よりもソースタスクで高いパフォーマンスを示した。特に、状態空間の重複度が低いタスク（例：RightとLeft2）で最も高い保持度が観察された。
• 生涯学習において、5つの交差点タイプを順次訓練した結果、深刻な忘却が生じ、特に右折タスクの学習が多線形タスクに悪影響を及べた。以前のタスクでのパフォーマンスが著しく低下した。
• 単線形タスク（Left, Right, Forward）はパフォーマンスの類縁性を示し、多線形タスク（Left2, Challenge）は別グループを形成した。Left2タスクのパフォーマンスはChallengeタスクの後に学習した場合に向上したが、Rightタスクの後に学習した場合は低下した。
• 全体として、生涯学習における深刻な忘却の悪影響は、知識転送の利点を上回っており、継続的学習環境における長期的知識の保持を可能にするメカニズムの開発が不可欠であることが示された。