[论文解读] A Survey on Multi-view Learning

Chang Xu, Dacheng Tao+1 more|arXiv (Cornell University)|Apr 20, 2013

Domain Adaptation and Few-Shot Learning参考文献 125被引用 1,002

一句话总结

本综述对多视图学习进行了全面回顾，将现有方法分类为协同训练、多核学习（MKL）和子空间学习。结果表明，通过共识或互补性原则利用视图多样性，可显著提升泛化能力和性能，优于单视图学习；实证结果表明，在WebKB和UCI数据集上，多视图设置的AUC最高达94.6%，而单视图设置为94.5%。

ABSTRACT

In recent years, a great many methods of learning from multi-view data by considering the diversity of different views have been proposed. These views may be obtained from multiple sources or different feature subsets. In trying to organize and highlight similarities and differences between the variety of multi-view learning approaches, we review a number of representative multi-view learning algorithms in different areas and classify them into three groups: 1) co-training, 2) multiple kernel learning, and 3) subspace learning. Notably, co-training style algorithms train alternately to maximize the mutual agreement on two distinct views of the data; multiple kernel learning algorithms exploit kernels that naturally correspond to different views and combine kernels either linearly or non-linearly to improve learning performance; and subspace learning algorithms aim to obtain a latent subspace shared by multiple views by assuming that the input views are generated from this latent subspace. Though there is significant variance in the approaches to integrating multiple views to improve learning performance, they mainly exploit either the consensus principle or the complementary principle to ensure the success of multi-view learning. Since accessing multiple views is the fundament of multi-view learning, with the exception of study on learning a model from multiple views, it is also valuable to study how to construct multiple views and how to evaluate these views. Overall, by exploring the consistency and complementary properties of different views, multi-view learning is rendered more effective, more promising, and has better generalization ability than single-view learning.

研究动机与目标

• 系统整理并比较协同训练、多核学习和子空间学习等不同多视图学习方法。
• 识别并突出成功多视图学习背后的核心原则——共识与互补性。
• 探讨构建和评估多视图以提升学习性能所面临的挑战与机遇。
• 提供统一理解，阐明多视图学习相较于单视图学习如何增强泛化能力。
• 识别开放的研究问题，包括整合不同多视图方法优势的通用框架的必要性。

提出的方法

• 根据其学习机制，将多视图学习划分为三大主要范式：协同训练、多核学习（MKL）和子空间学习。
• 分析协同训练作为一种迭代方法，通过最大化两个视图之间的相互一致性来工作，依赖于充分性、兼容性和条件独立性假设。
• 回顾多核学习（MKL）作为一种通过线性或非线性组合不同视图的核函数以提升泛化能力的方法，其公式化为半定规划或二阶锥规划。
• 研究子空间学习作为一种在视图之间学习共享潜在子空间的技术，假设视图由共同的潜在结构生成。
• 评估视图构建与评估策略，强调视图质量与多样性对学习成功的重要性。
• 利用WebKB和UCI数据集上的实证比较，验证多视图学习相比单视图学习的性能提升。

实验结果

研究问题

• RQ1 协同训练、多核学习和子空间学习在整合多视图方面的机制有何不同？
• RQ2 协同训练背后的關鍵假設（如條件獨立性）是什麼，它們如何影響性能？
• RQ3 與單視圖方法相比，通過共識或補充性結合視圖能在多大程度上提升學習性能？
• RQ4 如何有效構建和評估多個視圖以最大化學習性能？
• RQ5 設計一個整合不同多視圖學習方法優勢的統一框架所面臨的主要挑戰是什麼？

主要发现

• 多視圖學習方法在多個數據集上持續優於單視圖學習，某些情況下錯誤率降低高達50%。
• 在WebKB數據集中，結合網頁特徵與超連結特徵的協同訓練朴素貝葉斯將錯誤率從12.9%降低至5.0%。
• 在WebKB4實驗中，Co-LapSVM在超連結上的平均PRBEP達94.3%，在合併特徵上的平均PRBEP為94.2%，優於單視圖SVM（分別為77.8%和84.4%）。
• 在UCI數據集中，基於MKL的方法如LMKL在Pima數據集上達到98.86%的準確率，而單視圖SVM僅為66.95%，顯示顯著的性能提升。
• 簡單MKL與局部化MKL展現出具有競爭力的性能並降低時間成本，其中簡單MKL在79秒內於Pima數據集上達到76.5%的準確率，而基線方法耗時224秒。
• 使用多個視圖導致更高的AUC值——例如，MKCCA在WebKB6上的AUC為94.6%，而KPCA在相同數據集上為94.5%，證實了多視圖融合的優勢。