[論文レビュー] Learning Arbitrary Pairwise Potentials in CRFs for Semantic Segmentation

Måns Larsson, Anurag Arnab+3 more|arXiv (Cornell University)|Jan 24, 2017

Advanced Neural Network Applications参考文献 2被引用数 2

ひとこと要約

この論文は、セマンティックセグメンテーションにおける条件付きランダムフィールド（CRF）の学習可能でペairワイズなポテンシャル関数を提案し、射影勾配降下法を用いたエンドツーエンドの学習を可能にしている。空間的およびバイラテラルカーネルのような非ガウス的で画像依存のポテンシャルを学習することで、従来のガウス的ポテンシャルよりも高いセグメンテーション精度を達成し、公的ベンチマークにおいて先行するCNN+CRF手法を上回っている。

ABSTRACT

Are we using the right potential functions in the Conditional Random Field models that are popular in the Vision community? Semantic segmentation and other pixel-level labelling tasks have made significant progress recently due to the deep learning paradigm. However, most state-of-the-art structured prediction methods also include a random field model with a hand-crafted Gaussian potential to model spatial priors, label consistencies and feature-based image conditioning. In this paper, we challenge this view by developing a new inference and learning framework which can learn pairwise CRF potentials restricted only by their dependence on the image pixel values and the size of the support. Both standard spatial and high-dimensional bilateral kernels are considered. Our framework is based on the observation that CRF inference can be achieved via projected gradient descent and consequently, can easily be integrated in deep neural networks to allow for end-to-end training. It is empirically demonstrated that such learned potentials can improve segmentation accuracy and that certain label class interactions are indeed better modelled by a non-Gaussian potential. In addition, we compare our inference method to the commonly used mean-field algorithm. Our framework is evaluated on several public benchmarks for semantic segmentation with improved performance compared to previous state-of-the-art CNN+CRF models.

研究の動機と目的

• 手作業で設計されたガウス的ポテンシャルが、セマンティックセグメンテーションにおけるCRFにおいて最適であるという仮定に挑戦すること。
• 画像ピクセル値およびサポートサイズに依存する、微分可能で推論と学習が可能なフレームワークを構築し、ペアワイズポテンシャルを設計すること。
• CRF推論を射影勾配降下法で統合することで、深層ニューラルネットワークとCRF部品をエンドツーエンドで訓練可能にすること。
• 学習可能な非ガウス的ポテンシャルが、標準的なガウス的ポテンシャルよりもラベル相互作用をよりよくモデル化できることを実証的に検証すること。

提案手法

• 推論プロセスをバックプロパゲーション可能にするために、CRF推論を射影勾配降下法による最適化問題として定式化する。
• 画像ピクセル値およびサポートサイズに依存するペアワイズポテンシャルを設計し、空間的および高次元バイラテラルカーネルの定式化を可能にする。
• ポテンシャル関数のパラメータを深層ネットワークと同時にエンドツーエンドで最適化できる、微分可能な学習フレームワークを導入する。
• 従来の平均場近似に代わる、CRF推論問題を解くために射影勾配降下スキームを用いる。
• 柔軟で学習可能なポテンシャル関数として、標準的な空間的および高次元バイラテラルカーネルをサポートする。
• 深層畳み込みニューラルネットワークベースのセグメンテーションパイプラインに学習可能なCRFレイヤーを統合し、特徴量とCRFパラメータの共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な非ガウス的ペアワイズポテンシャルは、手作業で設計されたガウス的ポテンシャルと比較して、セマンティックセグメンテーションの性能向上に寄与するか？
• RQ2 微分可能な推論を用いることで、深層ニューラルネットワークとCRFポテンシャルをエンドツーエンドで訓練することは可能か？
• RQ3 精度および収束性の観点から、学習可能なポテンシャルは平均場近似と比較してどのように異なるか？
• RQ4 特定のラベルクラス間の相互作用は、非ガウス的ポテンシャル関数によってガウス的ポテンシャルよりも顕著に改善されるか？
• RQ5 提案されたフレームワークは、より高い最先端の結果を達成するため、さまざまなセマンティックセグメンテーションベンチマークに一般化可能か？

主な発見

• 提案されたフレームワークは、複数の公的ベンチマークにおいて、先行する最先端のCNN+CRFモデルを上回る高いセグメンテーション精度を達成している。
• 特に非ガウス的ポテンシャルは、複雑なラベル相互作用をモデル化する上で、標準的なガウス的ポテンシャルを上回っている。
• 射影勾配降下法を用いたエンドツーエンドの訓練により、CRFパラメータと深層特徴量の両方を効果的に最適化できる。
• 画像に依存する非ガウス的ポテンシャルは、固定されたガウスカーネルよりも空間的および特徴ベースの事前知識をよりよく捉えられることを示している。
• 射影勾配降下による推論は、セグメンテーション性能の観点から、平均場近似よりも優れている。
• フレームワークは、画像コンテンツに適応するバイラテラルおよび空間的カーネルベースのポテンシャルを効果的に学習し、予測の一貫性を向上させている。