[論文レビュー] Fast Semantic Image Segmentation with High Order Context and Guided Filtering

Falong Shen, Gang Zeng|arXiv (Cornell University)|May 13, 2016

Advanced Neural Network Applications参考文献 25被引用数 8

ひとこと要約

本稿では、粗い段階から細かい段階への条件付きランダムフィールド（CRF）フレームワーク内に、高次元の文脈モデリングとガイド付きフィルタリングを統合した、高速かつ高精度な意味的画像セグメンテーション手法を提案する。粗い段階では従来のCRF推論を、領域特徴と推定ラベルに基づく学習可能なメッセージ伝達機構に置き換え、細かい段階ではバイラテラルCRFの高速代替手段としてガイド付きフィルタリングを用いることで、Pascal VOC 2012データセット上で古典的手法と比較して100倍高速な推論を達成し、最先端の性能を実現した。

ABSTRACT

This paper describes a fast and accurate semantic image segmentation approach that encodes not only the discriminative features from deep neural networks, but also the high-order context compatibility among adjacent objects as well as low level image features. We formulate the underlying problem as the conditional random field that embeds local feature extraction, clique potential construction, and guided filtering within the same framework, and provide an efficient coarse-to-fine solver. At the coarse level, we combine local feature representation and context interaction using a deep convolutional network, and directly learn the interaction from high order cliques with a message passing routine, avoiding time-consuming explicit graph inference for joint probability distribution. At the fine level, we introduce a guided filtering interpretation for the mean field algorithm, and achieve accurate object boundaries with 100+ faster than classic learning methods. The two parts are connected and jointly trained in an end-to-end fashion. Experimental results on Pascal VOC 2012 dataset have shown that the proposed algorithm outperforms the state-of-the-art, and that it achieves the rank 1 performance at the time of submission, both of which prove the effectiveness of this unified framework for semantic image segmentation.

研究の動機と目的

• 意味的セグメンテーションにおける正確なCRF推論の高い計算コストを低減しつつ、構造的一致性を維持すること。
• オブジェクトクラス間の低レベルの画像特徴と高次元の文脈的関係を統合することで境界の正確性を向上させること。
• ディープ特徴、文脈モデリング、境界の微調整を統合的に最適化できるエンドツーエンドの学習を可能にすること。
• セグメンテーションの正確性を損なわず、リアルタイムの推論速度を達成すること。

提案手法

• 領域特徴と推定ラベルに基づくメッセージ伝達ルーチンを用いて、高次クライーク相互作用をモデル化する粗い段階の文脈CRFを導入する。
• 局所的特徴を抽出し、エンドツーエンドで文脈に敏感な表現を同時に学習するための深層畳み込みネットワークを採用する。
• CRFにおける従来のバイラテラルフィルタリングを、平均場アルゴリズム内での1ステップのメッセージ伝達操作としてのガイド付きフィルタリングに置き換え、100倍の高速化を実現する。
• 2段階の推論パイプラインを採用：まず粗い段階での文脈符号化を行い、次にガイド付きフィルタリングによる細かい段階での境界微調整を実施する。
• 平均場による近似推論を用いて結合分布をモデル化し、メッセージ推定器をディープ特徴とラベルマップから導出する。
• 局所的予測をグローバルな文脈と一致させるために、隠れのグローバルノードを組み込み、一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 明示的なグローバルグラフ推論を伴わずに、オブジェクトクラス間の高次元の文脈的相互作用を効果的にモデル化できるか？
• RQ2 ガイド付きフィルタリングは、境界微調整のためのバイラテラルCRFの計算的に効率的な代替手段として利用可能か？
• RQ3 ディープ特徴、文脈モデリング、境界微調整のエンドツーエンド学習は、セグメンテーションの正確性を向上させるか？
• RQ4 学習可能なメッセージ伝達を備えた粗い段階から細かい段階へのフレームワークは、著しく高速な推論を実現しながらも最先端の性能を達成できるか？

主な発見

• 提案手法は、Pascal VOC 2012のテストセットにおいて、mIoUが78.1%に達し、すべての先行SOTA手法を上回った。
• 提出時におけるPascal VOC 2012のランク1のパフォーマンスを達成し、SOTAの地位を確認した。
• ガイド付きフィルタリングを用いた微調整ステップは、古典的手法の学習ベースCRFと比較して100倍高速であり、境界の正確性を維持または向上させた。
• 高次クライークモデリングを施した粗い段階の文脈CRFは、ベースラインのFCNと比較して20のカテゴリのうち14のカテゴリで性能向上を達成した。
• パイプライン全体を統合的にエンドツーエンドで学習することで、部分的または後処理アプローチよりも優れた一般化性能と一貫性が得られた。
• 特に細分化されたカテゴリ（例：'chair' や 'potted plant'）において、Piecewise [8] や [31] などの手法と比較して、正確性と速度の両方で優れた性能を示した。