[論文レビュー] Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture

David Eigen, Rob Fergus|arXiv (Cornell University)|Nov 18, 2014

Advanced Vision and Imaging参考文献 37被引用数 127

ひとこと要約

本論文では、1枚のRGB画像から深度、表面法線、セマンティックラベルを一括して予測する統合的でマルチスケールな畳み込みニューラルネットワークを提案する。粗い、中程度の、細かいの3つのスケールで段階的に予測を精錬することで、スーパーピクセルや低レベルのセグメンテーションに依存せずに、すべての3つのタスクで最先端の性能を達成し、約30Hzのリアルタイム推論を実現する。

ABSTRACT

In this paper we address three different computer vision tasks using a single basic architecture: depth prediction, surface normal estimation, and semantic labeling. We use a multiscale convolutional network that is able to adapt easily to each task using only small modifications, regressing from the input image to the output map directly. Our method progressively refines predictions using a sequence of scales, and captures many image details without any superpixels or low-level segmentation. We achieve state-of-the-art performance on benchmarks for all three tasks.

研究の動機と目的

• 深度、表面法線、セマンティックラベルといった複数のシーン理解出力を予測できる、1つの共有ディーブラーニングアーキテクチャの開発。
• スーパーピクセルや低レベルのセグメンテーションといった手作業によるコンポonentsに依存しないようにするため、階層的でマルチスケール特徴学習を活用すること。
• 段階的に解像度を高める予測の精錬を可能にする統一ネットワークを用いて、多様なタスクにおける性能の向上を図ること。
• すべての3つの出力についてリアルタイム推論（約30Hz）を可能にし、ロボット工学や拡張現実への導入を促進すること。
• 1つのアーキテクチャが、深度、法線、セマンティックセグメンテーションのベンチマークで、タスク特化型モデルを上回ることを実証すること。

提案手法

• 3つのスタックされたスケール（粗い（低解像度のグローバルビュー）、中程度、細かい（高解像度の精錬））を持つマルチスケール畳み込みネットワークを採用。
• 各スケールで特徴量が抽出され、デコンボリューション層を用いて出力マップをアップサンプリング・精錬する。
• 粗いスケールは深度と法線予測に不可欠なグローバルコンテキストを提供するが、細かいスケールは局所的詳細を捉える。
• タスク固有の損失関数を用いてエンドツーエンドで学習：深度にはL1損失、法線には角度損失、セマンティックセグメンテーションには交差エントロピー損失。
• 前のスケールの特徴マップを後のスケールと連結することで、局所的精錬がグローバルコンテキストに影響を受けるようにする。
• 粗いスケールにImageNetで事前学習済み重みを初期化することで、収束性と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 1つのマルチスケール畳み込みニューラルネットワークアーキテクチャが、深度予測、表面法線推定、セマンティックラベル付けという3つの異なるコンピュータビジョンタスクで最先端の性能を達成できるか。
• RQ2 粗いグローバル受容場（スケール1）を含めることで、局所的精錬のみに依存する場合と比較して、深度と法線予測の性能にどのような影響を与えるか。
• RQ3 同じネットワークから得た予測された深度と法線を、補助入力として用いることで、セマンティックセグメンテーションの性能がどの程度向上するか。
• RQ4 スーパーピクセル、CRF、または複雑な後処理に依存するタスク特化型モデルと比較して、提案アーキテクチャが優れているか。
• RQ5 モデルがすべての3つの出力をリアルタイム（約30Hz）で生成できるか、正確さを損なわずに行えるか。

主な発見

• マルチスケールアーキテクチャは、すべての3つのタスクで最先端の性能を達成した：NYU Depth v2における深度予測（平均相対誤差0.198）、表面法線（平均角度精度75.3%）、13クラスセマンティックセグメンテーション（ピクセル精度64.0%）。
• 最も粗いスケール（スケール1）が深度と法線予測に最も寄与しており、グローバルコンテキストの重要性が浮き彫りになった。一方、中程度のスケール（スケール2）はセマンティックセグメンテーションにおいて最も影響力が大きかった。
• 予測された深度と法線をセマンティックセグメンテーションヘッドの入力として用いることで、スケール2のみを使用する場合、RGB入力のみよりも性能が向上したが、両スケールを使用する場合、ほとんど向上が得られなかった。これは、ネットワークがこれらの特徴を独立して学習できることを示している。
• RGB入力のみで13クラスセマンティックセグメンテーションにおいて64.0%のピクセル精度を達成し、スーパーピクセルやCRFを用いる先行研究を上回った。
• 推論において約30Hzで動作し、すべての3つのタスクでリアルタイムデプロイメントを可能にした。
• ランダム初期化の状態でも、粗いスケールのみで13クラスセグメンテーションにおいて54.5%の精度を達成した。これは、グローバルシーン理解においてそのスケールが極めて重要な役割を果たしていることを確認している。