[論文レビュー] Unsupervised Learning of Dense Optical Flow, Depth and Egomotion from Sparse Event Data

Chengxi Ye, Anton Mitrokhin+3 more|arXiv (Cornell University)|Sep 23, 2018

Anomaly Detection Techniques and Applications参考文献 31被引用数 31

ひとこと要約

本論文は、150kパラメータの軽量で教師なしニューラルネットワークであるECNを提案する。この手法は、モノクローラDVS（動的ビジョンセンサー）からのスパースなイベントデータを用いて、一括して高密度の光流、深度、自己運動を推定する。本手法は250 FPSでリアルタイム推論を達成し、低照度および夜間条件においても優れた汎化性能を示し、MVSECデータセットにおいて深度、光流、自己運動推定の面で先行手法を上回る性能を発揮する。

ABSTRACT

In this work we present a lightweight, unsupervised learning pipeline for extit{dense} depth, optical flow and egomotion estimation from sparse event output of the Dynamic Vision Sensor (DVS). To tackle this low level vision task, we use a novel encoder-decoder neural network architecture - ECN. Our work is the first monocular pipeline that generates dense depth and optical flow from sparse event data only. The network works in self-supervised mode and has just 150k parameters. We evaluate our pipeline on the MVSEC self driving dataset and present results for depth, optical flow and and egomotion estimation. Due to the lightweight design, the inference part of the network runs at 250 FPS on a single GPU, making the pipeline ready for realtime robotics applications. Our experiments demonstrate significant improvements upon previous works that used deep learning on event data, as well as the ability of our pipeline to perform well during both day and night.

研究の動機と目的

• スパースなイベントデータから高密度の深度、光流、自己運動を推定する軽量で教師なしのニューラルネットワークの開発。
• マルチカメラセットアップに依存せずに、DVSデータのスパarsity、ノイズ、低空間分解能の課題に対処すること。
• ロボット工学および自動運転アプリケーションに適したリアルタイム推論を可能にすること。
• 従来のセンサーが故障する低照度および夜間走行シナリオにおける汎化性能の向上。
• イベントデータにおけるより良い特徴学習を実現するための新規イベント表現および正規化技術の導入。

提案手法

• エンドツーエンドの教師なし学習を目的とした、150kパラメータの新規エンコーダ・デコーダアーキテクチャ「イーブンリー・カスケーデッドネットワーク（ECN）」を提案。
• タイムスタンプの平均化によりノイズ低減を図る、3チャネルのイベント表現（時間画像、ピクセルごとの正負イベントカウント）を採用。
• 3次元構造の保持と自己運動推定の向上を目的に、複数の時間的イベントスライスを入力として使用。
• 訓練の安定性と推論品質の向上を目的に、新規の正規化技術「特徴相関除去（feature decorrelation）」を導入。
• 教師なしの自己教師あり学習を採用し、幾何的整合性損失を深度、光流、自己運動に適用し、教師データが不要である。
• スパースデータに対応し、物体境界を保持するため、滑らかさおよびエッジに配慮した正則化を適用。

実験結果

リサーチクエスチョン

• RQ1 モノクローラで教師なしのディープラーニングパイプラインは、スパースなイベントデータから高密度の深度と光流を回復できるか？
• RQ2 このようなパイプラインは、低照度および夜間走行シナリオに効果的に汎化できるか？
• RQ3 わずか150kパラメータの軽量ネットワークは、ロボット用途に適したリアルタイム性能を達成できるか？
• RQ4 提案された特徴相関除去正規化は、標準的なバッチ正規化と比較して訓練と推論の品質をどのように向上させるか？
• RQ5 マルチスライスイベント入力は、単一フレーム表現と比較して、3次元構造と自己運動推定を向上させることができるか？

主な発見

• ECNモデルは、'outdoor day 1'シーケンスでARPEが3.98°、ARREが0.00267を達成し、SfMlearner（16.99°および0.00916）とZhu18（7.74°および0.00867）を著しく上回った。
• 'outdoor night 1'シーケンスでは、ARPEが1.00°、ARREが0.00139を達成し、昼間シーケンスでのみ学習したにもかかわらず、低照度条件への強力な汎化性能を示した。
• モデルは1枚のGPUで250 FPSで実行され、ロボットアプリケーションに適したリアルタイム性を有する。
• アブレーションスタディにより、特徴相関除去は訓練時間を短縮し、推論品質を向上させた。
• アブレーションスタディにより、特徴相関除去は訓練時間を短縮し、推論品質を向上させた。
• スパースなイベント条件下でも、明確な物体の輪郭が得られるなど、高密度の深度と光流の再構成に成功した。
• パイプラインは、'outdoor day 1'でAEE_tr^depthが1.29 m/s、'outdoor night 1'で1.26 m/sを達成し、スケールの曖昧さに強く、深度ベースの正規化で良好な性能を示した。