[论文解读] Convolutional Pseudo-Prior for Structured Labeling.

Saining Xie, Xun Huang+1 more|arXiv (Cornell University)|Nov 23, 2015

Advanced Image and Video Retrieval Techniques参考文献 26被引用 5

一句话总结

本文提出卷积伪先验（ConvPP），一种用于结构化标注的新颖端到端深度学习方法，通过在标签空间中使用卷积滤波器，直接从真实标签中学习上下文先验。通过采用固定点网络结构与伪似然近似，ConvPP 在无需迭代优化或人工设计先验的情况下，在图像和序列标注基准上实现了最先进性能。

ABSTRACT

Current practice in convolutional neural networks (CNN) remains largely bottom-up and the role of top-down process in CNN for pattern analysis and visual inference is not very clear. In this paper, we propose a new method for structured labeling by developing convolutional pseudo-prior (ConvPP) on the ground-truth labels. Our method has several interesting properties: (1) compared with classical machine learning algorithms like CRFs and Structural SVM, ConvPP automatically learns rich convolutional kernels to capture both short- and long- range contexts; (2) compared with cascade classifiers like Auto-Context, ConvPP avoids the iterative steps of learning a series of discriminative classifiers and automatically learns contextual configurations; (3) compared with recent efforts combing CNN models with CRFs and RNNs, ConvPP learns convolution in the labeling space with much improved modeling capability and less manual specification; (4) compared with Bayesian models like MRFs, ConvPP capitalizes on the rich representation power of convolution by automatically learning priors built on convolutional filters. We accomplish our task using pseudo-likelihood approximation to the prior under a novel fixed-point network structure that facilitates an end-to-end learning process. We show state-of-the-art results on sequential labeling and image labeling benchmarks.

研究动机与目标

• 解决标准CNN在结构化标注任务中自顶向下上下文推理能力有限的问题。
• 克服Auto-Context等迭代方法的局限性，以及CRF-RNN或CRF-SVM混合模型中的人工设计负担。
• 开发一种统一的深度学习框架，自动从标签空间学习丰富且具有卷积特性的先验，而无需显式指定图模型。
• 通过利用CNN在标签空间中的表示能力，提升结构化预测的建模能力和泛化性能。

提出的方法

• 提出一种卷积伪先验（ConvPP），通过在标签空间中使用卷积滤波器，直接从真实标签中学习先验。
• 采用固定点网络结构，通过稳定迭代推理过程，实现端到端训练。
• 使用伪似然近似，对标签配置的先验分布进行建模，而无需完整似然计算。
• 通过在标签空间中堆叠卷积核，学习短程与远程依赖关系，整合上下文信息。
• 通过将固定点迭代嵌入网络架构，避免迭代训练循环，实现特征与先验的联合优化。
• 利用CNN的表示能力，自动发现复杂标签配置，无需人工特征或先验工程。

实验结果

研究问题

• RQ1 深度学习模型能否在无需显式图模型设计的情况下，直接从真实标签中学习有效的结构化标注上下文先验？
• RQ2 ConvPP在捕捉结构化预测中的长程依赖关系方面，与CRFs和结构化SVMs等经典方法相比表现如何？
• RQ3 ConvPP能否通过消除迭代分类器学习，超越级联方法如Auto-Context？
• RQ4 在标签空间中端到端学习卷积先验，相较于混合CNN-CRF或CNN-RNN架构，性能提升程度如何？
• RQ5 固定点网络结构是否能实现稳定且高效的端到端训练，适用于结合伪似然优化的结构化标注？

主要发现

• ConvPP在序列标注和图像标注基准上均达到最先进性能，优于CRFs、结构化SVMs和级联分类器。
• 该方法自动学习到丰富的卷积核，能够捕捉标签空间中的局部与长程上下文依赖。
• 通过避免迭代优化，ConvPP相比Auto-Context等级联方法显著降低了训练复杂度。
• 伪似然近似使先验学习更加高效，无需完整后验推断或复杂优化。
• 固定点网络结构确保了稳定端到端训练，并支持特征与先验学习的联合优化。
• 与MRF等贝叶斯模型相比，ConvPP通过深度卷积表示直接学习先验，在建模能力上表现更优。