[论文解读] A Reconstruction Error Formulation for Semi-Supervised Multi-task and Multi-view Learning

Buyue Qian, Xiang Wang+1 more|arXiv (Cornell University)|Feb 4, 2012

Sparse and Compressive Sensing Techniques参考文献 37被引用 4

一句话总结

本文提出了一种基于重构误差的框架 SSDR-MML，用于半监督多任务和多视角学习，该框架联合执行降维和标签传播。通过使用稀疏、可学习的权重/邻域矩阵建模标签传播，并采用交替优化方法进行优化，该方法在高维、部分标记的数据上，针对多视角和多任务设置，提升了聚类和分类的准确率，相较于最先进基线方法表现出更低的误差和方差。

ABSTRACT

A significant challenge to make learning techniques more suitable for general purpose use is to move beyond i) complete supervision, ii) low dimensional data, iii) a single task and single view per instance. Solving these challenges allows working with "Big Data" problems that are typically high dimensional with multiple (but possibly incomplete) labelings and views. While other work has addressed each of these problems separately, in this paper we show how to address them together, namely semi-supervised dimension reduction for multi-task and multi-view learning (SSDR-MML), which performs optimization for dimension reduction and label inference in semi-supervised setting. The proposed framework is designed to handle both multi-task and multi-view learning settings, and can be easily adapted to many useful applications. Information obtained from all tasks and views is combined via reconstruction errors in a linear fashion that can be efficiently solved using an alternating optimization scheme. Our formulation has a number of advantages. We explicitly model the information combining mechanism as a data structure (a weight/nearest-neighbor matrix) which allows investigating fundamental questions in multi-task and multi-view learning. We address one such question by presenting a general measure to quantify the success of simultaneous learning of multiple tasks or from multiple views. We show that our SSDR-MML approach can outperform many state-of-the-art baseline methods and demonstrate the effectiveness of connecting dimension reduction and learning.

研究动机与目标

• 解决现有方法在孤立处理半监督学习、多任务学习和多视角学习方面的局限性。
• 开发一种统一框架，实现在半监督、多任务和多视角设置下，同时进行降维和标签推理。
• 通过可学习的数据结构（权重/最近邻矩阵）显式建模任务和视角之间的知识融合。
• 通过分析标签传播图的结构特性，为多任务和多视角学习的成功提供可量化的度量。
• 通过非串行方式同时从两个视角学习，克服共训练方法对条件独立性和弱分类器充分性的强假设约束。

提出的方法

• 将学习问题表述为在稀疏图上的重构误差最小化，该图编码了跨任务和视角的数据点间关系。
• 采用交替优化方案，联合求解投影向量（用于降维）和缺失标签（用于标签传播）。
• 构建一个权重/最近邻矩阵，显式建模标签在不同任务和视角之间的传播与组合机制。
• 应用Moreau-Yosida正则化和块l1-范数优化，以确保稀疏性并支持高效的基于梯度的优化。
• 将降维与标签推理整合到单一目标函数中，实现两个组件的同时优化。
• 利用图拉普拉斯矩阵的逆实现多视角的非线性融合，避免了先前多核方法中线性组合的局限性。

实验结果

研究问题

• RQ1 是否能够通过统一框架在半监督、多任务和多视角学习设置下，同时优化降维和标签传播？
• RQ2 如何显式建模并解释多任务和多视角之间知识融合的机制？
• RQ3 所提出的方法在部分标记的高维数据上，是否在准确率和鲁棒性方面优于现有最先进方法？
• RQ4 所学习的标签传播图的结构特性是否可用于量化多任务和多视角学习的成功？
• RQ5 该框架在多大程度上减少了对条件独立性或单视角性能充分性等强假设的依赖？

主要发现

• SSDR-MML 框架在真实世界数据集上，针对部分标记、高维、多视角和多任务数据，相较于基线模型实现了更低的误差率和标准差。
• 迭代优化过程表现出单调改进：相似图像（同一人或属性）在低维空间中逐渐聚集，而相异图像则逐渐分离。
• 该方法通过同时填补缺失标签并学习低维表示，成功处理了标签缺失问题，即使仅使用30%的标记数据，也优于PCA和PCA+LDA。
• 显式的图结构使领域专家能够追踪并解释标签是如何传播的，以及各视角如何相互补充。
• 该框架无需共训练方法所要求的条件独立性假设，也无需依赖单个视角中存在弱分类器，因此适用范围更广。
• 重构误差的公式化允许基于标签传播图的特性，提供一种通用且可解释的学习成功度量。