[論文レビュー] GONet: A Semi-Supervised Deep Learning Approach For Traversability Estimation

Noriaki Hirose, Amir Sadeghian+3 more|arXiv (Cornell University)|Mar 8, 2018

Advanced Vision and Imaging参考文献 31被引用数 7

ひとこと要約

GONetは、魚眼カメラ画像からの通過可能性推定に生成対抗ネットワーク（GANs）を用いた半教師付き深層学習手法を提案する。豊富な正例（通過可能）と少量の負例（非通過可能）を用いて学習する。本手法は、リアルタイム性、耐障害性、メモリ効率の高さを実現し、教師ありベースラインを上回り、モバイルロボットや視覚障害者向けのウェアラブル安全システムへの実用的導入を可能にする。

ABSTRACT

We present semi-supervised deep learning approaches for traversability estimation from fisheye images. Our method, GONet, and the proposed extensions leverage Generative Adversarial Networks (GANs) to effectively predict whether the area seen in the input image(s) is safe for a robot to traverse. These methods are trained with many positive images of traversable places, but just a small set of negative images depicting blocked and unsafe areas. This makes the proposed methods practical. Positive examples can be collected easily by simply operating a robot through traversable spaces, while obtaining negative examples is time consuming, costly, and potentially dangerous. Through extensive experiments and several demonstrations, we show that the proposed traversability estimation approaches are robust and can generalize to unseen scenarios. Further, we demonstrate that our methods are memory efficient and fast, allowing for real-time operation on a mobile robot with single or stereo fisheye cameras. As part of our contributions, we open-source two new datasets for traversability estimation. These datasets are composed of approximately 24h of videos from more than 25 indoor environments. Our methods outperform baseline approaches for traversability estimation on these new datasets.

研究の動機と目的

• 高価または危険な負例データに依存を最小限に抑える、実用的で低コストな通過可能性推定手法の開発。
• 市販の魚眼カメラと最小限のラベル付きデータのみを用いて、モバイルロボット上でリアルタイム動作を実現すること。
• GANを用いた半教師付き学習により、未確認の屋内および屋外環境における一般化性能と耐障害性の向上。
• ロボットや視覚障害者向けに、リアルタイム視覚緊急停止システムとしてのモデルの実装可能性を実証すること。
• 多様な屋内環境における通過可能性推定のための、2つの新しい大規模データセットの寄与。

提案手法

• GONetは、潜在ノイズから現実的な通過可能なシーンを生成する生成器と、実際の通過可能画像と生成画像を区別する識別器からなるGANアーキテクチャを採用する。
• 本モデルは、多数の正例（通過可能）画像と少数の負例（非通過可能）画像を用いて学習し、半教師付き学習を実現する。
• 時間的整合性を保つために、画像シーケンスを活用し、フレーム間の一貫性を強制することで、ラベル付きデータの効率を向上させる自動的な時系列アノテーション手順を導入する。
• GONet+T拡張版は、再帰的または順序付きモデリングを組み込むことで、予測の時間的整合性を強化し、滑らかさと耐障害性を向上させる。
• 強い影などの困難な照明条件下での性能向上を図るため、ステレオ・フィッシュアイ拡張版を提案する。
• リアルタイム推論を確保するため、フィードフォワードネットワークとして設計されており、ロボットやウェアラブルデバイスへのデプロイを支援する。

実験結果

リサーチクエスチョン

• RQ1 少数の負例のみを用いても、半教師付き深層学習モデルが高精度な通過可能性推定を達成できるか？
• RQ2 明示的な訓練データなしに、GANベースのモデルが未確認の屋内および屋外環境にどれほど一般化できるか？
• RQ3 時間的整合性を強制することで、通過可能性予測の耐障害性と滑らかさがどの程度向上するか？
• RQ4 最小限の計算オーバーヘッドで、モバイルハードウェア上で効果的にデプロイ可能か？
• RQ5 訓練済みモデルが、ロボットや視覚障害者向けに信頼できる視覚緊急停止システムとして機能できるか？

主な発見

• GONetは新規に導入されたデータセットにおいて、完全教師ありベースラインを上回り、負例が限られた状況でも高い精度を達成した。
• 少数の負例を含めることで、正例のみを用いた場合に比べて性能が著しく向上し、半教師付き学習の有効性を確認した。
• GONet+Tは、連続する画像間で滑らかで一貫性のある通過可能性予測を実現し、フレアや誤検出を低減した。
• モデルは未確認の屋内および屋外環境に対しても効果的に一般化し、事前に露出されていない歩行者撮影データでも正しい警告を発した。
• 本システムはモバイルハードウェア上でリアルタイム動作を実現し、ロボットやバックパックやメガネなどのウェアラブルデバイスへのデプロイを可能にした。
• 本アプローチは視覚緊急停止として効果的に機能し、障害物や段差がリアルタイムで検出された際に音声警告を発した。