[論文レビュー] Exploring Context with Deep Structured models for Semantic Segmentation

Guosheng Lin, Chunhua Shen+2 more|arXiv (Cornell University)|Mar 10, 2016

Advanced Neural Network Applications参考文献 45被引用数 13

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNNs）と条件付きランダムフィールド（CRFs）を統合する深層構造的モデルを提案し、画像のパッチ同士およびパッチと背景との間の文脈的関係を明示的にモデル化することで、セマンティックセグメンテーションの性能を向上させる。CNNに基づくペairワイズポテンシャルを学習し、部分的CRFトレーニングを用いることで、PASCAL VOC 2012 や COCO を含む8つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

State-of-the-art semantic image segmentation methods are mostly based on training deep convolutional neural networks (CNNs). In this work, we proffer to improve semantic segmentation with the use of contextual information. In particular, we explore `patch-patch' context and `patch-background' context in deep CNNs. We formulate deep structured models by combining CNNs and Conditional Random Fields (CRFs) for learning the patch-patch context between image regions. Specifically, we formulate CNN-based pairwise potential functions to capture semantic correlations between neighboring patches. Efficient piecewise training of the proposed deep structured model is then applied in order to avoid repeated expensive CRF inference during the course of back propagation. For capturing the patch-background context, we show that a network design with traditional multi-scale image inputs and sliding pyramid pooling is very effective for improving performance. We perform comprehensive evaluation of the proposed method. We achieve new state-of-the-art performance on a number of challenging semantic segmentation datasets including $NYUDv2$, $PASCAL$-$VOC2012$, $Cityscapes$, $PASCAL$-$Context$, $SUN$-$RGBD$, $SIFT$-$flow$, and $KITTI$ datasets. Particularly, we report an intersection-over-union score of $77.8$ on the $PASCAL$-$VOC2012$ dataset.

研究の動機と目的

• 局所的な滑らかさを越える複雑な空間的文脈を明示的にモデル化することで、セマンティックセグメンテーションの性能を向上させること。
• エンドツーエンドの学習におけるバックプロパゲーション中に計算コストの高いCRF推論を回避する課題に対処すること。
• マルチスケール特徴量とスライディングピラミッドプーリングを用いて、豊富な背景文脈を捉える性能を向上させること。
• バックプロパゲーション中に繰り返しCRF推論を実行しないための効率的なトレーニング戦略を開発すること。
• 一部のケースでは深度データに依存しない、多様で困難なセマンティックセグメンテーションベンチマークで最先端の結果を達成すること。

提案手法

• 隣接する画像パッチ間の意味的適合性をモデル化するため、CNNに基づくペアワイズポテンシャル関数を定式化し、従来のPottsモデルポテンシャルに代わる。
• 画像領域間の非対称な意味的関係を捉えるために、非対称ペアワイズポテンシャルを導入する。
• バックプロパゲーション中に高コストな推論を回避するため、CRFの部分的トレーニングを採用し、深層構造的モデルにおけるエンドツーエンド学習を可能にする。
• マルチスケールのCNN入力と特徴マップへのスライディングピラミッドプーリングを用いて、パッチと背景の文脈を効果的に符号化する。
• 粗いから細かい予測の流れを採用：まず低解像度のCRF推論によるセグメンテーションを生成し、その後アップサンプリングと後処理段階での精練を実施。
• トレーニング中に非同期勾配更新を適用し、最適化の効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 CNNに基づく学習された非Potts型ペアワイズポテンシャルが、標準的なCRF平滑化を上回るセマンティックセグメンテーション性能を向上させられるか？
• RQ2 CRFの部分的トレーニングは、深層構造的モデルにおけるエンドツーエンド学習をどの程度効果的に可能にするか？
• RQ3 マルチスケールおよびピラミッドプールド特徴量を組み込むことで、背景文脈モデリングにどの程度の向上が得られるか？
• RQ4 パッチ同士およびパッチと背景の文脈を明示的にモデル化することで、多様なデータセットにわたる一貫した性能向上が達成できるか？
• RQ5 深度情報やマルチタスク学習に依存する最先端の手法と比較して、本手法はどの程度優れているか？

主な発見

• PASCAL VOC 2012 データセットでは、平均IoUが83.4%を達成し、先行手法を上回る最先端の性能を示した。
• COCOデータセット（80クラス）では、ピクセル精度88.3%、平均精度58.7%、IoU 46.8%を達成し、ベースラインの完全畳み込みネットワークを顕著に上回った。
• SUN-RGBDデータセット（37クラス）では、ピクセル精度78.4%、平均精度53.4%を達成し、深度監視がなくても先行手法を上回った。
• KITTIデータセット（10クラス）では、ピクセル精度93.3%、平均精度74.5%を達成し、COCOでの事前学習を用いることでさらに94.3%、75.9%に向上した。
• SIFT-flowデータセット（33クラス）では、ピクセル精度88.1%、平均精度53.4%を達成し、このベンチマークで報告された最高の結果であった。
• NYUDv2、Cityscapes、PASCAL-Contextにおいて、既存手法を顕著に上回り、多様なシーンカテゴリーや画像ドメインにわたる一貫した性能向上を示した。