[论文解读] An Information-Theoretic Framework for Non-linear Canonical Correlation Analysis.

Amichai Painsky, Meir Feder+1 more|arXiv (Cornell University)|Oct 31, 2018

Face and Expression Recognition参考文献 58被引用 4

一句话总结

本文提出 ITCCA，一种基于信息论的非线性典型相关分析框架，通过互信息控制复杂度，优化压缩表示以最大化相关性。与 ACE 和非线性 CCA 相比，该方法在计算成本更低的前提下实现了更优性能，并将方法与率失真理论及信息瓶颈理论相联系。

ABSTRACT

Canonical Correlation Analysis (CCA) is a linear representation learning method that seeks maximally correlated variables in multi-view data. Non-linear CCA extends this notion to a broader family of transformations, which are more powerful for many real-world applications. Given the joint probability, the Alternating Conditional Expectation (ACE) provides an optimal solution to the non-linear CCA problem. However, it suffers from limited performance and an increasing computational burden when only a finite number of observations is available. In this work we introduce an information-theoretic framework for the non-linear CCA problem (ITCCA), which extends the classical ACE approach. Our suggested framework seeks compressed representations of the data that allow a maximal level of correlation. This way we control the trade-off between the flexibility and the complexity of the representation. Our approach demonstrates favorable performance at a reduced computational burden, compared to non-linear alternatives, in a finite sample size regime. Further, ITCCA provides theoretical bounds and optimality conditions, as we establish fundamental connections to rate-distortion theory, the information bottleneck and remote source coding. In addition, it implies a soft dimensionality reduction, as the compression level is measured (and governed) by the mutual information between the original noisy data and the signals that we extract.

研究动机与目标

• 解决 ACE 等非线性 CCA 方法存在的高计算成本和有限样本性能差的局限性。
• 开发一种框架，以控制非线性 CCA 中表示灵活性与复杂度之间的权衡。
• 建立非线性 CCA 与信息论原理（如率失真理论和信息瓶颈）之间的理论联系。
• 通过控制原始数据与提取信号之间互信息的方式，实现软维数约简。

提出的方法

• ITCCA 将非线性 CCA 表述为一个优化问题，通过互信息约束，在变换视图之间最大化相关性。
• 该方法使用互信息作为表示复杂度的代理变量，从而实现对相关性与模型简洁性之间权衡的控制。
• 通过将 ACE 方法嵌入信息论框架，实现对有限样本条件下最优性的保证。
• 该框架与率失真理论及远端源编码理论建立理论类比，提供性能的合理边界。
• 引入一种软维数约简机制，其中压缩程度由输入数据与提取特征之间的互信息显式控制。
• 优化过程设计为计算高效，相比传统非线性 CCA 方法显著降低计算负担。

实验结果

研究问题

• RQ1 如何在信息论框架下表述非线性 CCA，以改善有限样本性能？
• RQ2 互信息在控制 CCA 中非线性表示复杂度方面发挥什么作用？
• RQ3 ITCCA 与信息瓶颈和率失真理论等既有的信息论原理有何关联？
• RQ4 ITCCA 是否能在计算成本更低的前提下，实现比 ACE 及其他非线性 CCA 方法更高的相关性？
• RQ5 原始数据与提取信号之间的互信息如何在多视图学习中实现软维数约简？

主要发现

• 在有限样本条件下，ITCCA 在视图之间的相关性高于 ACE 及其他非线性 CCA 方法。
• 相比传统非线性 CCA 方法，该方法显著降低了计算负担，提升了可扩展性。
• 通过将问题与率失真理论和信息瓶颈联系，ITCCA 提供了理论边界和最优性条件。
• 该框架实现了软维数约简，其中压缩程度由互信息显式控制。
• 该方法建立了非线性 CCA 与远端源编码之间的原理性联系，增强了理论基础。
• 实证结果表明，ITCCA 在相关性与效率方面表现优异，尤其在低数据场景下优势明显。