[论文解读] Image Segmentation by Iterative Inference from Conditional Score Estimation

Adriana Romero, Michal Drozdzal+3 more|arXiv (Cornell University)|May 21, 2017

Domain Adaptation and Few-Shot Learning参考文献 16被引用 11

一句话总结

本文提出了一种新颖的迭代推理方法，用于图像语义分割，利用条件去噪自编码器估计给定图像的像素标签条件分布的得分（对数密度梯度）。通过污染前馈网络的预测结果而非真实标签，该模型能够通过梯度上升迭代优化预测，逐步逼近高概率配置，其在CamVid和PASCAL-Context基准上的表现优于基于CRF的后处理方法和基线模型。

ABSTRACT

Inspired by the combination of feedforward and iterative computations in the virtual cortex, and taking advantage of the ability of denoising autoencoders to estimate the score of a joint distribution, we propose a novel approach to iterative inference for capturing and exploiting the complex joint distribution of output variables conditioned on some input variables. This approach is applied to image pixel-wise segmentation, with the estimated conditional score used to perform gradient ascent towards a mode of the estimated conditional distribution. This extends previous work on score estimation by denoising autoencoders to the case of a conditional distribution, with a novel use of a corrupted feedforward predictor replacing Gaussian corruption. An advantage of this approach over more classical ways to perform iterative inference for structured outputs, like conditional random fields (CRFs), is that it is not any more necessary to define an explicit energy function linking the output variables. To keep computations tractable, such energy function parametrizations are typically fairly constrained, involving only a few neighbors of each of the output variables in each clique. We experimentally find that the proposed iterative inference from conditional score estimation by conditional denoising autoencoders performs better than comparable models based on CRFs or those not using any explicit modeling of the conditional joint distribution of outputs.

研究动机与目标

• 开发一种用于图像分割结构化预测的方法，以捕捉输出变量的复杂、多模态条件分布。
• 用端到端学习的得分估计替代CRF中的显式能量函数设计，方法基于去噪自编码器。
• 通过基于估计的条件得分执行梯度上升迭代优化预测，提升分割的一致性和准确性。
• 探究在基于得分的迭代推理中，污染前馈网络的预测而非真实标签是否能提升性能。
• 在无需与分割网络端到端训练的情况下，展示在基准数据集上的最先进性能。

提出的方法

• 训练一个条件去噪自编码器，以预测被污染输出与真实输出之间的差异，从而近似条件分布 p(y|x) 的得分（对数密度的负梯度）。
• 模型输入为被污染的分割预测 y 和图像特征 h，输出为估计 ∂log p(y|x)/∂y 的向量。
• 迭代推理通过使用预测得分执行梯度上升来更新 y：y ← y + ε × (ŷ − y)，其中 ε 为学习率。
• 污染操作应用于前馈网络的输出（而非真实标签），以模拟迭代过程的初始状态。
• 该方法作为预训练前馈分割网络后的后处理步骤应用，避免了端到端训练。
• 该方法利用深度卷积架构建模超出局部团簇的长距离依赖关系，与传统CRF不同。

实验结果

研究问题

• RQ1 条件去噪自编码器能否有效估计结构化预测任务中条件分布 p(y|x) 的得分？
• RQ2 在迭代推理中，污染前馈预测而非真实标签是否能带来更好的性能？
• RQ3 基于得分的迭代推理能否优于基于CRF的后处理，生成更一致、更高精度的分割结果？
• RQ4 性能增益在不同主干网络架构和数据集上是否具有鲁棒性？
• RQ5 与分割网络进行端到端训练是否能提升结果，还是后处理已足够？

主要发现

• 在 FCN-8 上，所提方法 DAE(y) 相较于 DAE(y_true) 在平均 IoU 上提升了 2.2%，且所有类别均实现一致改进。
• 在 FC-DenseNet103 上，DAE(y) 仍表现出相较于 DAE(y_true) 的显著改进，尽管提升幅度小于 FCN-8。
• 该方法通过纠正结构性错误（如补全缺失的围栏等物体）提升了分割质量，而CRF无法恢复此类错误。
• CRF后处理有时会降低某些类别（如柱状立柱）的性能，而所提方法则保持或提升准确率。
• 性能对步长和迭代次数具有鲁棒性，最优性能可在较宽泛的超参数范围内实现。
• 与分割网络进行端到端训练并未提升结果，且内存消耗更高，表明后处理已足够且高效。