[論文レビュー] Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials

Philipp Krähenbühl, Vladlen Koltun|arXiv (Cornell University)|Oct 20, 2012

Sparse and Compressive Sensing Techniques参考文献 23被引用数 2,974

ひとこと要約

本論文は、Gaussian edge potentials を用いた全結合 CRF に対して非常に効率的な mean-field 推論法を開発し、ピクセルレベルの密な結合を実現するとともに、画像分割における精度を大幅に向上させつつ、実行時間を高速化します。

ABSTRACT

Most state-of-the-art techniques for multi-class image segmentation and labeling use conditional random fields defined over pixels or image regions. While region-level models often feature dense pairwise connectivity, pixel-level models are considerably larger and have only permitted sparse graph structures. In this paper, we consider fully connected CRF models defined on the complete set of pixels in an image. The resulting graphs have billions of edges, making traditional inference algorithms impractical. Our main contribution is a highly efficient approximate inference algorithm for fully connected CRF models in which the pairwise edge potentials are defined by a linear combination of Gaussian kernels. Our experiments demonstrate that dense connectivity at the pixel level substantially improves segmentation and labeling accuracy.

研究の動機と目的

• ピクセルレベルの画像分割に対する密な（全結合） CRFs のモチベーションを高め、境界の精度とラベリングの一貫性を改善する。
• 全結合 CRFs における MAP 推論を実現するためのスケーラブルな近似推論アルゴリズムを開発する。
• データから効果的にモデルパラメータ（Unary、pairwise kernels、そして compatibility）を学習する。

提案手法

• CRF の分布を独立した周辺分布の積として近似する mean-field 推論を用いる。
• pairwise potentials を任意の特徴空間におけるガウス核の線形結合として定式化する。
• 特徴空間でのガウシアンフィルタリングとしてメッセージパ passing を実行し、変数数に対する計算量を二乗から線形へ削減する。
• 特徴空間を whitening 後、permutolohedral lattice を用いた高次元フィルタリングで効率的な畳み込みを実装する。
• カーネルウェイトと compatibility 関数を piecewise トレーニングと勾配ベースの最適化（compatibility は L-BFGS、カーネル幅はグリッド探索）で学習する。
• Potts あるいは学習された対称的 compatibility 関数を用いてラベル間相互作用をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 Gaussian edge potentials を持つ全結合 CRF は、スパースまたは領域ベースのモデルと比較してピクセルレベルの分割精度を改善するか。
• RQ2 高次元ガウシアンフィルタリングを用いた mean-field 推論は、精度を損なうことなく、密なピクセルグラフに対して実用的な実行時間を提供できるか。
• RQ3 長距離接続、カーネル幅、ラベルの適合性は分割品質と境界の精度にどのように影響するか。

主な発見

• CRF の Dense なピクセルレベルの結合は、MSRC-21 および PASCAL VOC 2010 データセット上でグリッド法および高次的手法より分割精度を改善する。
• 提案された mean-field 推論は単一 CPU コアで約 0.2 秒程度で動作し、MCMC や graph cuts のような代替推論手法の数時間に比べて高速である。
• 長距離接続（より大きな空間的・色域の範囲）はある程度まで精度を向上させるが、距離が ≥35 ピクセルのエッジに対してペアワイズエネルギーの50％以上が割り当てられる設定もあり得る。一方で過度の長距離伝搬はラベリングを誤らせることがある。
• MSRC-21 では、学習済みラベル適合性を持つ全結合 CRF が 88.2% の全体精度と 84.7% の平均精度を達成（Unary のみでは 84.0%/76.6%）。
• PASCAL VOC 2010 では、Potts potentials を用いた全結合モデルが 29.1% の平均精度を達成し、学習済みラベル適合性を用いると 30.2% に改善（グリッド CRF の 28.3% を上回る）。