[論文レビュー] Indoor Semantic Segmentation using depth information

Camille Couprie, Clément Farabet+2 more|arXiv (Cornell University)|Jan 16, 2013

Advanced Vision and Imaging被引用数 336

ひとこと要約

本論文は、RGB-D入力を活用して屋内セマンティックセグメンテーションを実行するマルチスケール畳み込みニューラルネットワークを提案する。深度とカラー画像から直接特徴を学習する。本手法は、NYU-v2データセットにおいて64.5%の画素精度を達成し、SIFT や CRF 後処理に依存する従来手法と比べ顕著な向上を示した。

ABSTRACT

This work addresses multi-class segmentation of indoor scenes with RGB-D inputs. While this area of research has gained much attention recently, most works still rely on hand-crafted features. In contrast, we apply a multiscale convolutional network to learn features directly from the images and the depth information. We obtain state-of-the-art on the NYU-v2 depth dataset with an accuracy of 64.5%. We illustrate the labeling of indoor scenes in videos sequences that could be processed in real-time using appropriate hardware such as an FPGA.

研究の動機と目的

• 従来の手法がハンドクラフト特徴に依存するのに対し、RGB-D入力を用いた多クラス屋内シーンセグメンテーションの課題に取り組む。
• 深層特徴学習がセマンティックセグメンテーションへの深度情報統合にどの程度有効であるかを検討する。
• オクルージョンや不均一な照明を伴う複雑な現実世界の屋内シーンを特徴とするNYU-v2データセットにおける性能向上を図る。
• 効率的なネットワーク設計と時空間平滑化を用いて、ビデオシーケンスのリアルタイム処理を可能にする。
• オブジェクトサポート推論に用いられる4クラス設定を含む、異なるセマンティッククラスグループ化におけるモデルの柔軟性を示す。

提案手法

• モデルは、RGBおよび深度画像のラプラシアンピラミッド表現を複数スケールで処理するマルチスケール畳み込みネットワークを採用する。
• 各スケールは、フィルタバンク、非線形関数、プーリング層を含む3段階の畳み込みネットワークに供給され、階層的特徴が抽出される。
• 粗いスケールの特徴マップを最も細かいスケールにアップサンプリングした後、すべてのスケールからの特徴マップを連結し、画素ごとに文脈豊富な特徴ベクトルを生成する。
• 画像の輪郭を保持するために独立してスーパーピクセルセグメンテーションを計算し、分類器の予測を集約することで空間的一致性を向上させる。
• ネットワークは、深度を追加の入力チャネルとして扱い、エンドツーエンドのバックプロパゲーションにより画素ごとのセマンティックラベルを予測するように学習される。
• 時系列平滑化は[5]のスーパーピクセルを用いてビデオシーケンスに適用され、最小限の遅延でリアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 RGB-Dデータから直接特徴を学習するディープラーニングアプローチは、SIFT や CRF に依存する従来手法を上回る性能を発揮できるか？
• RQ2 複雑な屋内シーンにおいて、深度情報の統合がセマンティックセグメンテーションの精度にどの程度寄与するか？
• RQ3 共有重みを有するマルチスケール畳み込みネットワークは、オクルージョンや照明変動が生じる多様な屋内環境にどの程度一般化可能か？
• RQ4 提案手法は、ロボットやインタラクティブアプリケーションに適したビデオシーケンスでリアルタイム性能を達成できるか？
• RQ5 オブジェクトサポート推論に用いられる4クラス設定を含む、異なるセマンティッククラスグループ化において、モデルの性能はどの程度か？

主な発見

• 提案されたマルチスケール畳み込みネットワークに深度入力を組み合わせた手法は、NYU-v2データセットで64.5%の画素精度を達成し、発表当時、新たな最先端性能を樹立した。
• 本手法は、Silbermanら[23]の手法と比較して、地面クラスの予測精度を19.3ポイント向上させ、68%から87.3%に向上させた。
• 深度情報の追加により、Silberman らの手法と比較して画素単位の精度が6%向上し、58.6%から64.5%に上昇した。
• 構造的要素の予測精度は4%向上し、本手法では87.8%に達した。これは深度情報が構造的要素の認識に有効であることを示している。
• 本システムは、ラップトップ上で320x240のフレームを0.7秒で処理でき、さらに1フレームあたり0.1秒を追加して時系列平滑化を実行するため、ニアリアルタイムのビデオ処理が可能である。
• 4クラス設定における「家具」クラスでは性能が低下しており、これはトレーニングデータにおけるクラスの曖昧さに起因すると考えられ、より良いデータバランスの必要性を示唆している。