[論文レビュー] Image Segmentation by Iterative Inference from Conditional Score Estimation

Adriana Romero, Michal Drozdzal+3 more|arXiv (Cornell University)|May 21, 2017

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 11

ひとこと要約

本論文は、画像のセマンティックセグメンテーションのための新しい反復的推論手法を提案する。条件付きノイズ除去オートエンコーダーを用いて、画像が与えられたときのピクセルラベルの条件付き分布のスコア（対数密度の勾配）を推定する。真のラベルではなく、フォワードネットワークの予測をノイズ化することで、モデルは勾配上昇に基づいて予測を反復的に改善し、CamVidおよびPASCAL-ContextベンチマークでCRFベースの後処理やベースラインモデルを上回る性能を発揮する。

ABSTRACT

Inspired by the combination of feedforward and iterative computations in the virtual cortex, and taking advantage of the ability of denoising autoencoders to estimate the score of a joint distribution, we propose a novel approach to iterative inference for capturing and exploiting the complex joint distribution of output variables conditioned on some input variables. This approach is applied to image pixel-wise segmentation, with the estimated conditional score used to perform gradient ascent towards a mode of the estimated conditional distribution. This extends previous work on score estimation by denoising autoencoders to the case of a conditional distribution, with a novel use of a corrupted feedforward predictor replacing Gaussian corruption. An advantage of this approach over more classical ways to perform iterative inference for structured outputs, like conditional random fields (CRFs), is that it is not any more necessary to define an explicit energy function linking the output variables. To keep computations tractable, such energy function parametrizations are typically fairly constrained, involving only a few neighbors of each of the output variables in each clique. We experimentally find that the proposed iterative inference from conditional score estimation by conditional denoising autoencoders performs better than comparable models based on CRFs or those not using any explicit modeling of the conditional joint distribution of outputs.

研究の動機と目的

• 出力変数の複雑で多次元の条件付き分布を捉える構造的予測のための手法を開発すること。
• CRFにおける明示的なエネルギー関数設計を、ノイズ除去オートエンコーダーを用いたエンドツーエンド学習によるスコア推定に置き換えること。
• 推定された条件付きスコアに基づく勾配上昇を用いて予測を反復的に改善することで、セグメンテーションの整合性と正確性を向上させること。
• スコアに基づく反復的推論において、真のラベルではなくフォワードネットワークの予測をノイズ化することで性能が向上するかどうかを検証すること。
• セグメンテーションネットワークとエンドツーエンドで訓練しないまま、ベンチマークデータセットで最先端の性能を示すことを目的とする。

提案手法

• 条件付きノイズ除去オートエンコーダーは、ノイズを加えた出力と真の出力の差を予測するように訓練され、条件付き分布 p(y|x) のスコア（対数密度の負の勾配）を近似する。
• モデルは、ノイズを加えたセグメンテーション予測 y と画像特徴 h を入力とし、∂log p(y|x)/∂y を推定するベクトルを出力する。
• 反復的推論は、予測されたスコアを用いて y に対して勾配上昇を実行する：y ← y + ε × (ŷ − y)，ここで ε はステップサイズである。
• ノイズは真のラベルではなく、フォワードネットワークの出力に適用され、反復プロセスの初期状態を模倣する。
• この手法は、事前に訓練されたフォワードセグメンテーションネットワークの後処理として適用され、エンドツーエンドの訓練を回避する。
• 従来のCRFとは異なり、深層畳み込みアーキテクチャを活用して、局所的なクライクを越えた長距離依存関係をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 条件付きノイズ除去オートエンコーダーは、構造的予測タスクにおける条件付き分布 p(y|x) のスコアを効果的に推定できるか？
• RQ2 真のラベルではなく、フォワードネットワークの予測をノイズ化することで、セグメンテーションにおける反復的推論の性能が向上するか？
• RQ3 スコアに基づく反復的推論は、CRFベースの後処理を上回り、整合性があり高精度なセグメンテーションを生成できるか？
• RQ4 性能の向上は、異なるバックボーンアーキテクチャやデータセットに対して一貫して見られるか？
• RQ5 セグメンテーションネットワークとエンドツーエンドで訓練することで結果が改善するのか、それとも後処理で十分か？

主な発見

• 提案手法 DAE(y) は、FCN-8 において DAE(y_true) よりも平均IoUで 2.2% 高く、全クラスで一貫した改善を示した。
• FC-DenseNet103 においても、DAE(y) は DAE(y_true) よりも顕著な改善を示したが、FCN-8 ほど大きな差はなかった。
• この手法は、フェンスなど欠落していたオブジェクトを補填することで、セグメンテーション品質を向上させた。CRF ではこの回復が不可能であった。
• CRF の後処理は一部のクラス（例：柱のポール）において性能を低下させることがあるが、本手法は精度を維持または向上させた。
• ステップサイズや反復回数に対して性能が安定しており、さまざまなハイパーパramータ範囲で最適性能が達成可能であった。
• セグメンテーションネットワークとエンドツーエンドで訓練した場合、結果に改善はなく、メモリ使用量も増加した。これは、後処理が十分であり、かつ効率的であることを示唆している。