[论文解读] An Efficient Approach to Informative Feature Extraction from Multimodal Data

Lichen Wang, Jiaxiang Wu+5 more|arXiv (Cornell University)|Nov 22, 2018

Music and Audio Processing参考文献 30被引用 8

一句话总结

该论文提出 Soft-HGR，一种用于高效且稳定多模态特征提取的新框架，通过用软正则化器替代 Hirschfeld-Gebelein-Rényi（HGR）最大相关性的严格白化约束，实现了可扩展的优化。该方法在监督和半监督设置下均表现出色，尤其在标签稀缺或模态缺失的情况下，通过保留 HGR 的几何特性同时提升判别能力，实现了优越性能。

ABSTRACT

One primary focus in multimodal feature extraction is to find the representations of individual modalities that are maximally correlated. As a well-known measure of dependence, the Hirschfeld-Gebelein-Rényi (HGR) maximal correlation becomes an appealing objective because of its operational meaning and desirable properties. However, the strict whitening constraints formalized in the HGR maximal correlation limit its application. To address this problem, this paper proposes Soft-HGR, a novel framework to extract informative features from multiple data modalities. Specifically, our framework prevents the "hard" whitening constraints, while simultaneously preserving the same feature geometry as in the HGR maximal correlation. The objective of Soft-HGR is straightforward, only involving two inner products, which guarantees the efficiency and stability in optimization. We further generalize the framework to handle more than two modalities and missing modalities. When labels are partially available, we enhance the discriminative power of the feature representations by making a semi-supervised adaptation. Empirical evaluation implies that our approach learns more informative feature mappings and is more efficient to optimize.

研究动机与目标

• 解决由于多模态特征学习中 HGR 最大相关性对严格白化约束导致的高计算成本和数值不稳定性问题。
• 在模态之间相关性较弱或共享信息有限时，提升特征表示的判别能力。
• 将基于 HGR 的特征提取方法推广至多于两个模态的场景，并处理模态缺失问题。
• 通过将标签信息整合到特征学习目标中，实现半监督学习。
• 开发一种可扩展、稳定且高效的多模态表示学习优化框架。

提出的方法

• Soft-HGR 用基于两个内积的软正则化器替代 HGR 中的硬性白化约束：一个用于特征映射之间，另一个用于特征协方差之间。
• 目标函数的设计旨在保持与 HGR 相同的特征几何结构，同时避免矩阵求逆或分解，从而提升数值稳定性和效率。
• 通过使用对称化公式，将框架推广至多模态设置，以处理多于两个模态的情况。
• 对于缺失模态，该方法引入一个二值标志以指示数据可用性，使模型能够在输入不完整的情况下学习鲁棒表示。
• 在半监督设置中，目标函数通过加入监督损失进行增强，其中超参数 λ 控制无监督相关性与有监督判别性之间的权衡。
• 模型采用深度神经网络，包含用于稀疏特征的双线性交互层，随后是平均池化层和用于预测的 Softmax 层。

实验结果

研究问题

• RQ1 软正则化方法是否能在不损失几何保真度的前提下替代 HGR 最大相关性中的硬性白化约束？
• RQ2 与基于 HGR 的方法相比，所提出的 Soft-HGR 框架是否实现了更优的优化稳定性和效率？
• RQ3 Soft-HGR 是否能有效推广至多于两个模态的场景，并在真实世界数据中处理缺失模态？
• RQ4 在标签稀缺的情况下，以半监督方式引入标签信息是否能提升判别性能？
• RQ5 在数据稀疏或模态缺失的情况下，Soft-HGR 与当前最先进模型相比，在准确率和鲁棒性方面表现如何？

主要发现

• 在所有模型中，半监督 Soft-HGR 在语音预测准确率上表现最高，尤其在标签有限时性能提升显著。
• Soft-HGR 与 Deep CCA 的判别性能相当，表明两者学习到了等效的特征表示。
• 在无监督设置下，如 Deep CCA 和 Soft-HGR 等模型仅在标签极度稀缺时才优于原始特征的分类性能；否则，其表现劣于端到端 DNN。
• 在推荐系统任务中，半监督 Soft-HGR 在 AUC 指标上优于所有基线模型（LR、FM、Deep FM、Neural FM），尤其在标签稀缺时表现更优。
• 随着 Soft-HGR 损失权重 λ 降低至零，半监督 Soft-HGR 的 AUC 显著下降，证实无监督目标对性能有显著贡献。
• 由于避免了矩阵求逆或分解，该方法保持了稳定且高效的优化，从而可扩展至高维特征。