[论文解读] Canonical Correlation Analysis (CCA) Based Multi-View Learning: An Overview

Chenfeng Guo, Dongrui Wu|arXiv (Cornell University)|Jul 3, 2019

Face and Expression Recognition参考文献 67被引用 32

一句话总结

本论文综述基于CCA的代表性多视图学习方法，强调线性、非线性、有监督以及深度扩展，用于融合多个视图。

ABSTRACT

Multi-view learning (MVL) is a strategy for fusing data from different sources or subsets. Canonical correlation analysis (CCA) is very important in MVL, whose main idea is to map data from different views onto a common space with maximum correlation. Traditional CCA can only be used to calculate the linear correlation of two views. Besides, it is unsupervised and the label information is wasted. Many nonlinear, supervised, or generalized extensions have been proposed to overcome these limitations. However, to our knowledge, there is no overview for these approaches. This paper provides an overview of many representative CCA-based MVL approaches.

研究动机与目标

• 将多视图学习（MVL）作为融合来自多个视图信息的一种方式的动机。
• 解释 canonical correlation analysis (CCA) 及其在 MVL 中作为共享子空间学习者的作用。
• 总结代表性的基于 CCA 的 MVL 方法及其关键特征。
• 讨论处理超过两个视图、非线性、稀疏和监督的扩展。

提出的方法

• 回顾传统 CCA 及其在多视图和有监督任务中的局限性。
• 介绍 GCCA 及其用于多视图的变体（SUMCOR、MAXVAR、SSQCOR、MINVAR、GENVAR）。
• 描述非线性扩展（KCCA、LPCCA、DCCA、DCCAE、DisDCCA）以及有监督/判别变体（DisCCA、MLDA、MULDA）。
• 解释张量/图基和高阶方法（TCCA、RCCA、LPCCA）。
• 概述深度学习整合（DCCA、DisDCCA、DCCAE、DisDCCAE、VCCA、VCCA-private）。
• 总结优化公式（特征分解、SVD、广义特征值问题）和训练注意事项。

实验结果

研究问题

• RQ1 两视图和多视图数据的代表性基于 CCA 的方法有哪些？
• RQ2 非线性、稀疏和有监督扩展如何解决 CCA 的局限性？
• RQ3 基于 CCA 的方法与其他 MVL 范式（判别、局部性、深度学习）之间的关系是什么？

主要发现

• 本文提供了基于 CCA 的 MVL 方法的全面综述，包括两视图和多视图的表述。
• 它涵盖线性、非线性、稀疏、有监督和深度学习扩展，覆盖多视图。
• 它对核、局部保持和判别变体及其潜在优化问题进行了对比。
• 它强调如正则化和计算复杂性等实际考虑，尤其是核方法和深度方法。
• 它包含一个对比表（Table I），概述代表性方法的主要特征。