[論文レビュー] Incorporating Human Domain Knowledge into Large Scale Cost Function Learning

Markus Wulfmeier, Dushyant Rao+1 more|arXiv (Cornell University)|Dec 13, 2016

Autonomous Vehicle Technology and Safety参考文献 11被引用数 9

ひとこと要約

本稿では、運動計画における大規模コスト関数学習を向上させる手法を提案する。まず、手動で設計されたコスト関数上で深層ニューラルネットワークを事前学習し、その後、Maximum Entropy Deep Inverse Reinforcement Learning（MaxEnt D-IRL）を用いて微調整する。人間のドメイン知識を事前分布として組み込むことで、モデルはより高いロバスト性、明確な障害物境界、および階段、勾配、トンネルなどレアなコーナーケースへのより良い一般化を達成する。これは、単に示範データから学習するモデルを上回る性能を発揮する。

ABSTRACT

Recent advances have shown the capability of Fully Convolutional Neural Networks (FCN) to model cost functions for motion planning in the context of learning driving preferences purely based on demonstration data from human drivers. While pure learning from demonstrations in the framework of Inverse Reinforcement Learning (IRL) is a promising approach, we can benefit from well informed human priors and incorporate them into the learning process. Our work achieves this by pretraining a model to regress to a manual cost function and refining it based on Maximum Entropy Deep Inverse Reinforcement Learning. When injecting prior knowledge as pretraining for the network, we achieve higher robustness, more visually distinct obstacle boundaries, and the ability to capture instances of obstacles that elude models that purely learn from demonstration data. Furthermore, by exploiting these human priors, the resulting model can more accurately handle corner cases that are scarcely seen in the demonstration data, such as stairs, slopes, and underpasses.

研究の動機と目的

• 訓練データがスパarsely または稀なシナリオを代表しない場合に、深層逆強化学習における一般化性能の低さという課題に対処すること。
• 環境の未走査領域や低頻度領域におけるモデルのロバスト性および特徴表現を向上させること。
• 専門家の人間のドメイン知識を深層学習モデルに組み込み、広範な示範データに依存するのを減らすこと。
• 階段、勾配、トンネル、ボーラードなど、単独で示範データから学習することが難しいコーナーケースをよりよく処理できること。
• 手動で設計されたコスト関数での事前学習が、ランダム初期化に比べて予測および分類タスクの両方で優れた性能を発揮することを示すこと。

提案手法

• 手動で設計されたコストマップへの回帰を目的とした完全畳み込みニューラルネットワーク（FCN）を事前学習し、ネットワーク重みの初期化に用いる。
• 専門家の示範トラジェクトリを用いて、事前学習済みモデルをMaximum Entropy Deep Inverse Reinforcement Learning（MaxEnt D-IRL）で微調整する。
• 訓練の安定化とパスプランニングの閾値処理のため、ネットワーク全体にシグモイド活性化関数を適用し、出力を[0,1]に正規化する。
• 微調整段階で早期停止を適用し、一般化性能の向上と過学習の低減を図る。
• 手動コストマップからの密な監視を活用し、示範トラジェクトリから離れた領域における特徴表現を豊かにする。
• 障害物の拡張ルールや高さ範囲の閾値といったドメイン固有の知識を、事前学習段階に組み込み、ネットワークが物理的に妥当なコスト関数へと導かれるようにする。

実験結果

リサーチクエスチョン

• RQ1 手動で設計されたコスト関数上で深層ニューラルネットワークを事前学習することで、運動計画の逆強化学習における一般化性能が向上するか？
• RQ2 人間のドメイン知識を組み込むことで、階段やトンネルのようなレアまたはコーナーケースシナリオの処理能力にどのような影響を与えるか？
• RQ3 ランダム初期化に比べ、事前学習により障害物境界がよりロバストかつ視覚的に明確に表現されるか？
• RQ4 事前学習により、正確なコスト関数を学習するための広範な示範データの必要性がどの程度低減されるか？
• RQ5 手動事前分布と深層IRLの組み合わせが、純粋に示範ベースの学習に比べ、走行可能領域の分類精度において優れているか？

主な発見

• ランダム初期化に比べ、手動コスト関数での事前学習が、走行可能領域の分類性能を顕著に向上させる。
• 人間の事前知識を用いた事前学習を施したモデルは、アーチファクトやノイズを低減させつつ、より視覚的に明確でロバストな障害物境界を生成する。
• 本手法は、勾配（走行可能）や階段（非走行可能）といった困難なシナリオを正しく捉え、分類することができ、単に示範データから学習したモデルがしばしば誤分類するのを回避する。
• 事前学習により、特に示範トラジェクトリから離れた領域においても、より良い一般化性能を発揮する。これは、初期特徴表現が豊かであるためである。
• 微調整段階での早期停止により、学習時間の短縮と一般化性能の向上が図られ、特に事前学習後の段階で顕著である。
• 本手法により、単に学習されたモデルが高さ範囲や点群密度の問題により誤分類しがちな、トンネルやボーラードといった複雑な特徴を正確にモデル化できる。