[論文レビュー] Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation

Maximilian Jaritz, Raoul de Charette+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Aug 2, 2018

Advanced Vision and Imaging参考文献 25被引用数 16

ひとこと要約

本稿では、密度の薄い深度データ（LiDARやステレオ、点群などに一般的に見られる）を、密なRGB入力あり・なしの両方の状況で扱う、新しいCNNベースの深度補完およびセマンティックセグメンテーション手法を提案する。改良型NASNetアーキテクチャと、有効性マスクを不要にするスパーストレーニング戦略を活用し、Kitti深度補完ベンチマークで最先端性能を達成している。特に、極めて低い密度（0.8%）でも安定した性能を示し、スパース深度とRGBの有効な融合を実証した。

ABSTRACT

Convolutional neural networks are designed for dense data, but vision data is often sparse (stereo depth, point clouds, pen stroke, etc.). We present a method to handle sparse depth data with optional dense RGB, and accomplish depth completion and semantic segmentation changing only the last layer. Our proposal efficiently learns sparse features without the need of an additional validity mask. We show how to ensure network robustness to varying input sparsities. Our method even works with densities as low as 0.8% (8 layer lidar), and outperforms all published state-of-the-art on the Kitti depth completion benchmark.

研究の動機と目的

• 標準のCNNが密な入力向けに設計されているのに対し、LiDAR、ステレオ、点群などに一般的に見られるスパース深度データを処理する課題に対処すること。
• 従来のスパースCNNが明示的な有効性マスクを必要としているのを克服し、ネットワークがスパarsity不変特徴を自律的に学習できるようにすること。
• 事前に密な深度マップを生成せずに、スパース深度と密なRGBデータの有効な統合を実現し、深度補完およびセマンティックセグメンテーションを達成すること。
• 8層のLiDAR（0.8%ピクセル密度）を含む、さまざまな入力スパarsityレベルに対しても、強力な性能を発揮すること。
• 最小限のアーキテクチャ変更で、複数のビジョンタスクに適応可能な汎用的で軽量かつ効果的なスパースデータ処理フレームワークを確立すること。

提案手法

• 最終層をタスク固有の出力（深度回帰またはセマンティックセグメンテーション）に適応させる最小限の変更で、事前学習済みのNASNetエンコーダーデコーダーをスパース入力に対応させる。
• 明示的な有効性マスク入力を必要とせず、欠損データに対して不変な特徴を学習できるスパーストレーニング戦略を実装する。
• デコーダーステージで密なRGBとスパース深度特徴を連結することで、後期融合を実現し、両モodalの共同推論を可能にする。
• 標準的な損失関数を用いて学習する：深度補完には平均絶対誤差（MAE）、セマンティックセグメンテーションには交差エントロピー損失。
• トレーニングと推論の両方で一貫したスパarsity分布を維持することで、構造的・パッチ状・均一なスパarsityパターンのすべてに一般化できるようにする。
• トランスポジット畳み込みを避けてエッジの鋭さと空間的詳細を保持し、スキップ接続と拡張畳み込み（dilated convolutions）に依存する。

実験結果

リサーチクエスチョン

• RQ1 標準のCNNは、明示的な有効性マスクや特別なスパース畳み込み演算を必要とせずに、スパース深度データを堅牢に処理できるか？
• RQ2 入力スパarsityが低下するにつれて、深度補完およびセマンティックセグメンテーションの性能はどのように低下するか？また、極めて低い密度（例：0.8%）でも有効に機能するか？
• RQ3 スパース深度と密なRGBの後期融合は、早期融合やRGBオンリーベースラインと比較して、セマンティックセグメンテーション精度を向上させるか？
• RQ4 同じネットワークアーキテクチャとトレーニング戦略を、最終層の微小な変更のみで、深度補完とセマンティックセグメンテーションの両タスクに再利用できるか？
• RQ5 再トレーニングなしで、LiDAR由来の構造的スパarsity、ステレオ由来のパッチ状スパarsity、合成由来の均一スパarsityなど、さまざまなスパarsityパターンに対しても、本手法は頑健か？

主な発見

• 提案手法は、Kitti深度補完ベンチマークで、発表済みのすべての最先端手法を上回り、新たなSOTAを達成した。
• 8層のLiDAR入力（0.8%ピクセル密度）でも、視覚的に妥当で鋭い深度マップを生成する高品質な深度補完が可能だった。
• Synthiaデータセットでは、RGBとスパース深度の後期融合により、セマンティックセグメンテーションで70.74%の平均IoUを達成し、RGBオンリーベースライン（63.47%）および早期融合（65.68%）を大きく上回った。
• Cityscapesデータセットでは、後期融合で57.82%の平均IoUを達成し、RGBオンリーベースライン（50.13%）を上回り、実世界のステレオ深度データに対しても頑健であることを示した。
• ネットワークは、明示的なマスクなしでスパarsityを暗黙的に処理する能力を学習しており、適切なトレーニングにより、標準CNNがスパース入力に効果的に適応可能であることを実証した。
• 定性的な結果から、大規模な欠損領域がある領域でも、細部や鋭いエッジを正確に保持しており、レーンマークや建物などの構造を正しく再構築していることが確認された。