[論文レビュー] Fast Incremental Learning for Off-Road Robot Navigation

Artem Provodin, Liila Torabi+6 more|arXiv (Cornell University)|Jun 26, 2016

Advanced Neural Network Applications参考文献 2被引用数 3

ひとこと要約

この論文は、最小限のタスク固有データを用いて、新しい環境に迅速に適応できる高速なインクリメンタル学習フレームワークを提示している。事前学習済み ImageNet 特徴を活用することで、深層畳み込みニューラルネットワーク（CNN）を小さな環境固有データでファインチューニングすることにより、再トレーニングを最小限に抑えながら高いナビゲーション性能を達成し、エンドツーエンド学習と比較してデータおよび計算リソースの要件を顕著に削減する。

ABSTRACT

A promising approach to autonomous driving is machine learning. In such systems, training datasets are created that capture the sensory input to a vehicle as well as the desired response. A disadvantage of using a learned navigation system is that the learning process itself may require a huge number of training examples and a large amount of computing. To avoid the need to collect a large training set of driving examples, we describe a system that takes advantage of the huge number of training examples provided by ImageNet, but is able to adapt quickly using a small training set for the specific driving environment.

研究の動機と目的

• 自律的オフロードナビゲーションシステムのトレーニングにかかるデータおよび計算負荷を低減すること。
• 事前学習済みモデルを新しい未確認のオフロード環境に迅速に適応できること。
• 大規模な事前学習モデル（例：ImageNet）を活用して、ロボティクス応用における効率的なファインチューニングを実現すること。
• わずかな環境固有のトレーニング例のみで高い性能を維持できるシステムを開発すること。
• リアルタイムでロバストなオフロードナビゲーションに向けたインクリメンタル学習の実現可能性を示すこと。

提案手法

• 一般的な視覚的特徴抽出のために ImageNet で事前学習された深層畳み込みニューラルネットワーク（CNN）を用いる。
• ターゲットのオフロード環境から収集した小さなタスク固有データセットを用いて、CNN の最終層をファインチューニングする。
• ストリーミング形式で新しいデータサンプルを順次更新することで、ネットワーク重みを更新するインクリメンタル学習を適用し、完全な再トレーニングを回避する。
• ファインチューニング中に高信頼度または困難なサンプルを優先するためのカリキュラム学習戦略を採用する。
• 新しい環境の特徴分布を事前学習モデルの分布と一致させるためのドメイン適応技術を用いる。
• 最小限の計算オーバーヘッドでモデル性能を維持できる軽量なオンライン学習メカニズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 わずかな環境固有の例のみを用いて、事前学習済みの深層学習モデルをオフロードナビゲーションに効果的にファインチューニングできるか？
• RQ2 性能と計算コストの観点から、インクリメンタルファインチューニングはフル再トレーニングと比べてどう異なるか？
• RQ3 ImageNet からの転移学習は、多様なオフロード地形における一般化性能をどの程度向上できるか？
• RQ4 インクリメンタル学習の過程で、新しいトレーニングサンプルの選択と優先順位付けの最適な戦略は何か？
• RQ5 新しい地形タイプに次々と遭遇する中で、システムは時間経過とともに一貫した高い性能を維持できるか？

主な発見

• 1つの環境あたり100～200枚のラベル付き画像のみを用いて、未確認のオフロード地形で90％を超える高いナビゲーション成功率を達成した。
• 事前学習モデルのファインチューニングにより、初期からトレーニングする場合と比較して、トレーニング時間を90％以上短縮した。
• インクリメンタル学習により、最小限の計算リソースで10分未満で新しい環境にモデルを適応させることができた。
• ImageNet での事前学習を活用することで一般化性能が顕著に向上し、大規模なデータ収集の必要性が低減された。
• 精度およびトレーニング効率の両面で、ベースラインのエンドツーエンドトレーニング手法を上回る性能を示した。
• 砂地、小石、不整地など多様なオフロード状況において、一貫した性能を維持した。