[论文解读] A Concise yet Effective model for Non-Aligned Incomplete Multi-view and Missing Multi-label Learning

Xiang Li, Songcan Chen|arXiv (Cornell University)|May 3, 2020

Text and Document Classification Technologies参考文献 51被引用 7

一句话总结

该论文提出了一种简洁的单超参数模型，用于非对齐的不完整多视图学习与缺失多标签学习，通过联合解决标签稀缺性、视图不完整性和视图错位问题。该方法利用指示矩阵，通过全局（高秩）和局部（低秩）标签结构建模，在五个真实数据集上实现了最先进的性能，即使在无视图对齐的情况下也表现优异，且具有线性时间效率。

ABSTRACT

In reality, learning from multi-view multi-label data inevitably confronts three challenges: missing labels, incomplete views, and non-aligned views. Existing methods mainly concern the first two and commonly need multiple assumptions to attack them, making even state-of-the-arts involve at least two explicit hyper-parameters such that model selection is quite difficult. More roughly, they will fail in handling the third challenge, let alone addressing the three jointly. In this paper, we aim at meeting these under the least assumption by building a concise yet effective model with just one hyper-parameter. To ease insufficiency of available labels, we exploit not only the consensus of multiple views but also the global and local structures hidden among multiple labels. Specifically, we introduce an indicator matrix to tackle the first two challenges in a regression form while aligning the same individual labels and all labels of different views in a common label space to battle the third challenge. In aligning, we characterize the global and local structures of multiple labels to be high-rank and low-rank, respectively. Subsequently, an efficient algorithm with linear time complexity in the number of samples is established. Finally, even without view-alignment, our method substantially outperforms state-of-the-arts with view-alignment on five real datasets.

研究动机与目标

• 解决多视图多标签学习中缺失标签、视图不完整和视图非对齐的联合挑战。
• 减少现有方法中常见的多重假设和超参数依赖。
• 构建一个统一框架，同时处理标签稀缺性、视图不完整性和视图错位问题。
• 在无需预对齐或强假设的前提下，实现视图间的有效标签对齐。
• 通过单一超参数实现高性能，最大限度减少用户干预。

提出的方法

• 引入指示矩阵，在回归框架中建模标签可用性和视图完整性。
• 同时将不同视图中的单个标签和所有标签对齐到一个共同的标签空间。
• 将多标签数据的全局结构建模为高秩，局部结构建模为低秩，以保留标签间关系。
• 制定优化问题，联合学习表示、处理缺失数据并强制执行标签对齐。
• 设计一种时间复杂度为样本数量线性的时间复杂度的高效算法，实现可扩展性。
• 采用交替优化求解目标函数，确保收敛性和实际效率。

实验结果

研究问题

• RQ1 一个统一的单一模型能否在极少假设下，同时有效处理缺失标签、不完整视图和非对齐视图？
• RQ2 对全局（高秩）和局部（低秩）标签结构的建模，在不完整多视图多标签学习中如何提升性能？
• RQ3 仅含一个超参数的模型在性能上能否超越需要多个超参数的最先进方法？
• RQ4 当训练过程中不强制执行视图对齐时，所提出的方法是否仍能保持强性能？
• RQ5 鉴于其线性时间复杂度，该方法在数据规模增加时的可扩展性如何？

主要发现

• 所提方法在五个真实世界数据集上实现了最先进性能，即使在无视图对齐的情况下，也优于依赖对齐的现有方法。
• 该模型仅依赖一个超参数，显著简化了模型选择过程，相比需要多个参数的方法具有明显优势。
• 全局（高秩）与局部（低秩）标签结构建模的结合，增强了标签表征能力并提升了泛化性能。
• 该算法在样本数量上达到线性时间复杂度，使大规模数据集的高效训练成为可能。
• 实验结果表明，该方法对缺失标签和不完整视图具有鲁棒性，在所有评估数据集上均表现出一致的性能提升。
• 消融研究证实，全局和局部标签结构建模组件均对性能提升有显著贡献。