[論文レビュー] Depth-aware CNN for RGB-D Segmentation

Weiyue Wang, Ulrich Neumann|arXiv (Cornell University)|Mar 19, 2018

Advanced Neural Network Applications参考文献 35被引用数 18

ひとこと要約

本論文では、深さ画像からの3次元幾何情報を取り込むために、深さに敏感な畳み込みと深さに敏感な平均プーリングを組み込んだ軽量なフレームワーク、Depth-aware CNNを提案する。特徴の伝搬を深さの類似度に基づいて重み付けすることで、パrameter や計算コストを増加させることなく、RGB-Dセマンティックセグメンテーションの精度を向上させ、NYUv2で27.8%のmIoUおよび44.9%のfwIoUを達成し、最先端の性能を発揮した。

ABSTRACT

Convolutional neural networks (CNN) are limited by the lack of capability to handle geometric information due to the fixed grid kernel structure. The availability of depth data enables progress in RGB-D semantic segmentation with CNNs. State-of-the-art methods either use depth as additional images or process spatial information in 3D volumes or point clouds. These methods suffer from high computation and memory cost. To address these issues, we present Depth-aware CNN by introducing two intuitive, flexible and effective operations: depth-aware convolution and depth-aware average pooling. By leveraging depth similarity between pixels in the process of information propagation, geometry is seamlessly incorporated into CNN. Without introducing any additional parameters, both operators can be easily integrated into existing CNNs. Extensive experiments and ablation studies on challenging RGB-D semantic segmentation benchmarks validate the effectiveness and flexibility of our approach.

研究の動機と目的

• 固定グリッドカーネル構造による制限により、標準的なCNNが幾何的ばらつきを適切にモデル化できないという問題に対処すること。
• 2次元CNNに深さ画像からの3次元幾何情報を効率的に統合することで、RGB-Dセマンティックセグメンテーションを向上させること。
• 深さ類似度を用いた特徴伝搬の強化を実現しながら、標準CNNの効率性を維持する手法を開発すること。
• モデルパラメータと計算コストを2倍にする高価な3次元ネットワークや2ストリームアーキテクチャの必要性を排除すること。

提案手法

• 標準畳み込みを変更し、カーネル中心と隣接ピクセル間の深さ類似度に基づいて特徴の寄与度を重み付ける、深さに敏感な畳み込みを導入。
• 畳み込みカーネルに深さ類似度項を組み込み、幾何的構造が情報伝搬をガイドする深さに敏感な受容 field を形成。
• 深さに基づくペアワイズ類似度を用いて局所的特徴平均を計算する深さに敏感な平均プーリングを提案。これにより、幾何に敏感な特徴集約が可能になる。
• 深さが似ているピクセルに高い重みを割り当てる深さ類似度関数 $ F_{\mathbf{D}}(\mathbf{p}_i, \mathbf{p}_j) $ を定義。$ |\mathbf{D}(\mathbf{p}_i) - \mathbf{D}(\mathbf{p}_j)| < 1 $ の場合1、それ以外は0。
• 両演算子を既存のCNNに最小限の変更で統合。パラメータを追加せずに、標準畳み込みおよびプーリング層を置き換える。
• 深さ類似度の影響を制御する学習可能なスケーリングパrameter $ \alpha $ を採用。アブレーションスタディにより、$ \alpha = 8.3 $ で最適な性能が得られることを確認。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増加させることなく、2次元CNNにおける特徴伝搬を深さ類似度で効果的にガイドできるか？
• RQ2 深さ画像からの幾何的構造を統合することで、標準CNNと比較してセマンティックセグメンテーション性能がどのように向上するか？
• RQ3 深さに敏感な演算は、2ストリームまたは3次元ボリュメトリックネットワークと比較して、精度、効率、パラメータ効率の面で優位性を示せるか？
• RQ4 幾何的特徴と視覚的特徴のバランスをとる最適な深さ類似度関数とスケーリング係数 $ \alpha $ は何か？

主な発見

• Depth-aware CNNは、NYUv2テストセットで27.8%の平均交差率（mIoU）を達成し、ベースライン（15.9%）およびHHA法（21.9%）を上回った。
• 周波数加重IoU（fwIoU）は44.9%に達し、ベースライン（34.2%）を上回り、より複雑な2ストリームネットワークの性能に近づいた。
• $ \alpha = 8.3 $ の場合、mIoUが27.8%に達し、中程度の深さ類似度重み付けが最適な性能をもたらすことを示した。
• アブレーションスタディにより、深さに敏感な項を組み込むことで性能が顕著に向上することが確認され、クリッピング関数 $ F_{\mathbf{D}} $ のバージョンですらベースラインを上回った。
• トレーニングからスクラッチで学習を開始した場合、D-CNNはNYUv2データセット上での時間経過に伴うトレーニング損失値が低く、ベースラインよりも速やかに収束した。
• 実行時間解析により、D-CNNの1回の順伝播は39.3msで、3次元CNNベースの手法[4]の214msよりも顕著に高速であり、パラメータ数は47.0Mにとどまった。