[论文解读] Generalized K-fan Multimodal Deep Model with Shared Representations

Gang Chen, Sargur N. Srihari|arXiv (Cornell University)|Mar 26, 2015

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 5

一句话总结

本文提出了一种广义的K-扇形深度多模态模型，通过共享的深度表征将2-扇形架构扩展至处理多个输入和输出。该模型采用对比发散进行预训练，通过反向传播进行判别性微调，在联合视觉修复与标注任务以及多视角多类别物体识别任务中达到最先进性能，优于多模态DBM和SVM基线模型。

ABSTRACT

Multimodal learning with deep Boltzmann machines (DBMs) is an generative approach to fuse multimodal inputs, and can learn the shared representation via Contrastive Divergence (CD) for classification and information retrieval tasks. However, it is a 2-fan DBM model, and cannot effectively handle multiple prediction tasks. Moreover, this model cannot recover the hidden representations well by sampling from the conditional distribution when more than one modalities are missing. In this paper, we propose a K-fan deep structure model, which can handle the multi-input and muti-output learning problems effectively. In particular, the deep structure has K-branch for different inputs where each branch can be composed of a multi-layer deep model, and a shared representation is learned in an discriminative manner to tackle multimodal tasks. Given the deep structure, we propose two objective functions to handle two multi-input and multi-output tasks: joint visual restoration and labeling, and the multi-view multi-calss object recognition tasks. To estimate the model parameters, we initialize the deep model parameters with CD to maximize the joint distribution, and then we use backpropagation to update the model according to specific objective function. The experimental results demonstrate that the model can effectively leverages multi-source information and predict multiple tasks well over competitive baselines.

研究动机与目标

• 为解决现有2-扇形多模态模型在处理多个预测任务或多个缺失模态时效率不足的问题。
• 开发一种灵活的深度架构，能够学习K种不同模态（如图像、文本和视频）之间的共享表征。
• 通过统一的K-扇形结构与判别性微调，实现多个任务（如数据修复与分类）的联合学习。
• 通过共享表征层利用多源信息，提升在噪声或不完整数据下的多模态学习鲁棒性与性能。

提出的方法

• 该模型采用K-扇形深度结构，包含K条独立分支，每条分支使用DBN、CNN或LSTM等深度模型处理不同模态。
• 一个共享隐藏层学习所有模态的联合表征，实现多模态融合与联合推理。
• 通过对比发散（CD）初始化模型参数，以最大化观测输入的联合似然。
• 通过反向传播进行微调，使用任务特定的目标函数，如用于修复与标注的联合损失，或用于多视角识别的分类损失。
• 该架构支持灵活的目标函数，适用于多任务学习或多源分类，可适应多种多模态问题。
• 推理通过前向传播完成，即使部分输入缺失，也能实现多个输出的高效预测。

实验结果

研究问题

• RQ1 广义的K-扇形深度模型能否同时有效处理多个输入模态与多个输出预测任务？
• RQ2 在推理过程中，当多个模态缺失时，该模型能否有效恢复隐藏表征？
• RQ3 在判别性微调框架中使用共享表征，是否能相比仅生成模型显著提升联合修复与标注任务的性能？
• RQ4 在多类别物体识别任务中，引入多视角信息在多大程度上能提升分类准确率？

主要发现

• 在严重损坏的MNIST数字数据集上，所提方法达到18.6 dB的PSNR与12.7%的错误率，显著优于Wiener（11.7 dB，58.5%）、RoBM（13.9 dB，52.6%）和DAE（13.58 dB，35.9%）基线方法。
• 在含类型2噪声的USPS字母数据集上，该模型达到19.6 dB的PSNR与32.8%的错误率，优于Wiener（14.2 dB，67.8%）、RoBM（16.3 dB，62.8%）和DAE（19.2 dB，42.5%）方法。
• 在多视角多类别物体识别任务中，该模型达到4.80%的错误率，优于无多视角的SVM（9.59%）、具多视角的SVM（6.92%）和多模态DBM（7.10%）。
• 结果表明，判别性微调阶段显著提升了性能，尤其在分类与去噪任务中，远超仅使用生成预训练阶段的表现。
• 该模型有效利用多源信息，表明额外的摄像头视角数据能提升分类准确率，验证了多视角输入的实用性。