[論文レビュー] A Projected Gradient Descent Method for CRF Inference allowing End-To-End Training of Arbitrary Pairwise Potentials

Måns Larsson, Anurag Arnab+3 more|arXiv (Cornell University)|Jan 24, 2017

Advanced Neural Network Applications参考文献 26被引用数 4

ひとこと要約

本稿では、深層学習パイプラインにおける任意の非パrametricなペアワイズポテンシャルのエンドツーエンド学習を可能にする、CRF推論のための投影勾配降下法を提案する。CRF推論を微分可能レイヤーとして統合することで、空間的および高次元バイラテラルフィルタを学習し、標準のガウス型ポテンシャルを上回るセマンティックセグメンテーションの精度向上を実現した。NYUv2およびCityscapesベンチマークでも最先端の性能を達成した。

ABSTRACT

Are we using the right potential functions in the Conditional Random Field models that are popular in the Vision community? Semantic segmentation and other pixel-level labelling tasks have made significant progress recently due to the deep learning paradigm. However, most state-of-the-art structured prediction methods also include a random field model with a hand-crafted Gaussian potential to model spatial priors, label consistencies and feature-based image conditioning. In this paper, we challenge this view by developing a new inference and learning framework which can learn pairwise CRF potentials restricted only by their dependence on the image pixel values and the size of the support. Both standard spatial and high-dimensional bilateral kernels are considered. Our framework is based on the observation that CRF inference can be achieved via projected gradient descent and consequently, can easily be integrated in deep neural networks to allow for end-to-end training. It is empirically demonstrated that such learned potentials can improve segmentation accuracy and that certain label class interactions are indeed better modelled by a non-Gaussian potential. In addition, we compare our inference method to the commonly used mean-field algorithm. Our framework is evaluated on several public benchmarks for semantic segmentation with improved performance compared to previous state-of-the-art CNN+CRF models.

研究の動機と目的

• セマンティックセグメンテーションに用いられるCRFにおける、手作業で設計されたガウス型ペアワイズポテンシャルの限界を解消すること。
• 深層ニューラルネットワークにおける任意の非パrametricなペアワイズポテンシャルのエンドツーエンド学習を可能にすること。
• バックプロパゲーションと互換性を持つ微分可能CRF推論手法の開発。
• 学習済みポテンシャルが標準のガウス型ポテンシャルよりも複雑なラベル相互作用をよりよくモデル化できることを実証的に検証すること。
• 提案されたフレームワークを用いて、公共のベンチマークでより高いセグメンテーション精度を達成すること。

提案手法

• 本手法は、Gibbsエネルギーを最小化する制約付き最適化問題としてCRF推論を定式化し、投影勾配降下を用いる。
• 最適化は深層ニューラルネットワーク内での微分可能レイヤーとしてアンロールされ、推論ステップを介したバックプロパゲーションが可能になる。
• ペアワイズポテンシャルは、画像ピクセル値および相対的位置に依存する空間フィルターや高次元バイラテラルフィルターとしてパラメータライズされる。
• フレームワークは、非ガウス型および非対称フィルターを含む任意のポテンシャル形状をサポートし、勾配降下によって学習される。
• 変分推論におけるKLダイバージェンス最小化とは異なり、エネルギーの直接最小化により平均場近似を回避する。
• 本手法はFCN-8sやLRRなどのCNNに統合され、標準的なバックプロパゲーションを用いたエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックで学習されたCRFのペアワイズポテンシャルは、セマンティックセグメンテーションにおいて標準のガウス型ポテンシャルを上回ることができるか？
• RQ2 微分可能推論によるCRFポテンシャルのエンドツーエンド学習は、セグメンテーション精度を向上させるか？
• RQ3 提案された投影勾配降下法は、平均場近似よりも優れた推論品質を達成できるか？
• RQ4 学習済みポテンシャルは、交通標識における垂直エッジの好みのような複雑なラベル相互作用を捉えられるか？
• RQ5 本フレームワークは、CityscapesやNYUv2のような大規模データセットに対してもスケーラブルかつ効果的か？

主な発見

• 提案されたCRF-Gradレイヤーは、NYUv2データセットにおけるmIoUを向上させ、定量的結果では特に絵画のような垂れ下がった物体の形状保持が向上していることが示された。
• Cityscapesでは、「信号機」クラスのIoUが66.8%から68.1%に上昇し、細長い垂直構造の局所化が向上した。
• 学習済み空間フィルターは非ガウス型の形状（例：縦方向エッジを好む長方形形）を示し、幾何学的整合性への学習済みの好みを示した。
• NYUv2およびCityscapesの両ベンチマークで最先端の性能を達成し、ベースラインLRRモデルと比較して19クラス中14クラスで性能向上または同等の結果を示した。
• エネルギー最小化およびセグメンテーション品質の観点で、平均場推論を上回ったが、KLダイバージェンス近似の必要がなかった。
• フレームワークは高次元バイラテラルフィルターおよび空間フィルターを効果的に学習でき、深層学習パイプラインにおける任意のポテンシャル形状の最適化が可能であることを示した。