[論文レビュー] Multiscale Fields of Patterns

Pedro F. Felzenszwalb, John Oberlin|arXiv (Cornell University)|Jun 4, 2014

Medical Image Segmentation Techniques参考文献 27被引用数 6

ひとこと要約

本論文は、画像のピラミッドにおける粗い解像度のスケールで複数のスケールにわたるバイナリーパターンの周波数を用いて、高次の画像事前分布をモデル化するためのマルチスケール・フォールズ・オブ・パターンズ（FoP）フレームワークを提案する。少ないパラメータ数で複数スケールのパターン周波数を捉えることで、大規模ブロックMCMCサンプリングによる効果的な推論が可能となり、ノイズの多い入力条件下でも、輪郭検出およびバイナリーセグメンテーションにおいて最先端の性能を達成する。

ABSTRACT

We describe a framework for defining high-order image models that can be used in a variety of applications. The approach involves modeling local patterns in a multiscale representation of an image. Local properties of a coarsened image reflect non-local properties of the original image. In the case of binary images local properties are defined by the binary patterns observed over small neighborhoods around each pixel. With the multiscale representation we capture the frequency of patterns observed at different scales of resolution. This framework leads to expressive priors that depend on a relatively small number of parameters. For inference and learning we use an MCMC method for block sampling with very large blocks. We evaluate the approach with two example applications. One involves contour detection. The other involves binary segmentation.

研究の動機と目的

• 局所的なパターンをマルチスケール表現で用いることで、非局所的な画像特性を捉える一般化された高次元画像モデリングフレームワークの構築を目的とする。
• 決定的である画像ピラミッドを活用することで、高次元モデルのパラメータ空間を削減し、効率的な学習と推論を可能にする。
• 細い輪郭検出や空間的に一貫性のあるバイナリーセグメンテーションといった多様なビジョンタスクに適応可能な表現力のある画像事前分布の設計を目的とする。
• ノイズの高い条件下での輪郭検出およびバイナリーセグメンテーションという2つの異なる応用分野において、本手法の有効性を示すことを目的とする。

提案手法

• FoPモデルは、マルチスケールの画像ピラミッド内で観察された3×3バイナリーパターンの周波数に基づいたエネルギー関数を定義し、粗くなった画像が非局所構造を反映している。
• 単一スケールFoPモデルは、各3×3パターンにエネルギーコストを割り当てるポテンシャル関数Vを用い、全エネルギーは重複する窓全体の和として定義される。
• マルチスケールFoPは、複数の解像度でパターン周波数をモデル化することで、階層的な画像構造を捉える。
• 最尤学習を用いて、モデルにおける期待されるパターン周波数がトレーニングデータの経験的周波数と一致するように、パターンコストを設定する。
• MCMCサンプリングアルゴリズムは、前向き・後向きフィルタリングとメトロポリス・ハスティングス法を組み合わせることで、水平または垂直方向のピクセルバンドを大規模ブロックで更新可能にし、効率的なサンプリングを可能にする。
• 本フレームワークは、データ項とFoPエネルギー項を含む条件付きランダムフィールド（CRF）を用いて、輪郭検出およびバイナリーセグメンテーションの両方のタスクに適用される。

実験結果

リサーチクエスチョン

• RQ1 局所的なバイナリーパターンのマルチスケール表現は、低次元パラメータ化のもとで、高次の画像事前分布を効果的にモデル化できるか？
• RQ2 繰り返し画像を粗くすることによって、FoPモデルは非局所的な画像構造をどれほど正確に捉えることができるか？
• RQ3 FoPフレームワークは、高ノイズ条件下でも、輪郭検出およびバイナリーセグメンテーションにおいて最先端の性能を達成できるか？
• RQ4 大規模ブロックMCMCサンプリングは、精度を損なわせることなく、高次元モデルにおける効率的な推論を可能にするか？

主な発見

• 4レベルFoPモデルは、輪郭検出において平均精度（AP）0.78を達成し、最良のベースライン（AP = 0.18）および1レベルFoP（AP = 0.73）を顕著に上回った。
• 4レベルFoPモデルは、再現率0.916の条件下で、バイナリーセグメンテーションの精度を0.929まで向上させ、グラフカットベースライン（精度0.893、再現率0.916）を上回った。
• 1レベルFoPモデルやベースライン手法と比較して、4レベルFoPモデルはより滑らかでノイズの少ない輪郭マップを生成し、高曲率境界を効果的に保持した。
• 視覚的検証により、4レベルFoPモデルは、葉のセグメンテーションにおいて、グラフカットベースラインよりも多くの境界部および茎部の詳細を回復していた。
• 観測ノイズが低い条件下では、1レベルおよび4レベルFoPモデルの性能が収束したため、マルチスケールモデルは特に高ノイズ条件下で最大の利点を発揮することが示された。