[論文レビュー] Combining mixture models with linear mixing updates: multilayer image segmentation and synthesis.

Jonathan Vacher, Ruben Coen-Cagli|arXiv (Cornell University)|May 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 7

ひとこと要約

本稿では、EMアルゴリズム内でのディリクレ事前分布を用いた線形混合更新を統合する柔軟な混合モデルフレームワークを提案する。これにより、多層画像セグメンテーションにおける適応的空間平滑化が可能となる。Student-t混合モデルを用いた最先端の境界検出を示し、ネットワーク層全体での共同学習により現実的な自然画像の合成を実現する。

ABSTRACT

Finite mixture models for clustering can often be improved by adding a regularization that is specific to the topology of the data. For instance, mixtures are common in unsupervised image segmentation, and typically rely on averaging the posterior mixing probabilities of spatially adjacent data points (i.e. smoothing). However, this approach has had limited success with natural images. Here we make three contributions. First, we show that a Dirichlet prior with an appropriate choice of parameters allows -- using the Expectation-Maximization approach -- to define any linear update rule for the mixing probabilities, including many smoothing regularizations as special cases. Second, we demonstrate how to use this flexible design of the update rule to propagate segmentation information across layers of a deep network, and to train mixtures jointly across layers. Third, we compare the standard Gaussian mixture and the Student-t mixture, which is known to better capture the statistics of low-level visual features. We show that our models achieve competitive performance in natural image segmentation, with the Student-t mixtures reaching state-of-the art on boundaries scores. We also demonstrate how to exploit the resulting multilayer probabilistic generative model to synthesize naturalistic images beyond uniform textures.

研究の動機と目的

• 有限混合モデルにトポロジーに配慮した正則化を組み込むことで、教師なし画像セグメンテーションを改善すること。
• 統一された確率的フレームワークを用いて、深層ネットワークの各層間でセグメンテーション情報を伝搬可能にする。
• ガウス混合モデルとStudent-t混合モデルが、低レベルの視覚的特徴統計をどの程度うまく捉えられるかを比較すること。
• 均一なテクスチャを越えた現実的な自然画像の合成が可能な生成モデルを開発すること。

提案手法

• EMアルゴリズム内での混合確率の線形更新ルールを、調整可能なパラメータを有するディリクレ事前分布で定義し、標準的な平滑化手法を一般化する。
• パrameter選択により、さまざまな平滑化正則化を特別ケースとして含む柔軟な更新メカニズムを設計する。
• 同じ更新フレームワークを用いて、層間の混合確率を共同で学習させることで、混合モデルを複数のネットワーク層に拡張する。
• 低レベルの画像特徴における重い尾を持つ分布をよりよくモデル化するため、ガウス混合モデルの代わりにStudent-t混合モデルを採用する。
• 学習された連合分布からのサンプリングを可能にする多層確率的生成モデルを定式化する。
• 一貫した正則化を保ちながら、層全体で成分パラメータと混合重みを最適化するためEMアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 画像セグメンテーションの混合モデル更新に、多様な線形平滑化ルールを柔軟に統合できる統一フレームワークを開発できるか？
• RQ2 複数のネットワーク層にわたる混合モデルの共同学習は、単一層アプローチと比較して、セグメンテーション性能をどの程度向上させるか？
• RQ3 自然画像セグメンテーションにおいて、Student-t混合モデルはガウス混合モデルに比べて、低レベルの視覚的特徴をどの程度うまく捉えられるか？
• RQ4 得られた多層生成モデルは、単純なテクスチャを越えた現実的な自然画像のサンプルを生成できるか？

主な発見

• 提案されたフレームワークにより、ディリクレ事前分布を用いることで、混合確率の任意の線形更新ルールを符号化可能となり、混合モデルにおける柔軟な正則化が実現される。
• 層間での混合モデルの共同学習により、階層構造を介した情報伝達が可能となり、セグメンテーション性能が顕著に向上する。
• Student-t混合モデルは境界検出指標において最先端の性能を達成し、特徴分布の裾をより良く捉えられる。
• 多層生成モデルは、均一なテクスチャを越えた現実的な自然画像を効果的に合成でき、その表現力が裏付けられた。