[论文解读] Large-Margin Metric Learning for Partitioning Problems

Rémi Lajugie, Sylvain Arlot+1 more|arXiv (Cornell University)|Mar 6, 2013

Sparse and Compressive Sensing Techniques参考文献 45被引用 26

一句话总结

本文提出了一种大间隔结构化预测框架，用于在无监督划分问题（如聚类、图像/视频分割和变化点检测）中学习马氏距离度量。通过利用多个部分或完全标注的数据集，该方法将度量学习建模为一个凸优化问题，通过特征加权与选择提升划分性能，在合成数据、生物信息学、视频和图像分割任务中均取得显著提升。

ABSTRACT

In this paper, we consider unsupervised partitioning problems, such as clustering, image segmentation, video segmentation and other change-point detection problems. We focus on partitioning problems based explicitly or implicitly on the minimization of Euclidean distortions, which include mean-based change-point detection, K-means, spectral clustering and normalized cuts. Our main goal is to learn a Mahalanobis metric for these unsupervised problems, leading to feature weighting and/or selection. This is done in a supervised way by assuming the availability of several potentially partially labelled datasets that share the same metric. We cast the metric learning problem as a large-margin structured prediction problem, with proper definition of regularizers and losses, leading to a convex optimization problem which can be solved efficiently with iterative techniques. We provide experiments where we show how learning the metric may significantly improve the partitioning performance in synthetic examples, bioinformatics, video segmentation and image segmentation problems.

研究动机与目标

• 解决无监督划分问题中选择或学习有效距离度量的挑战，此类度量对性能至关重要，但通常通过启发式方法选择。
• 通过使用多个部分或完全标注的数据集，在判别性、凸优化框架中监督度量学习，以克服无监督度量学习的局限性。
• 将K均值、谱聚类、归一化割以及基于均值的变化点检测等多样化的划分算法统一于基于欧几里得畸变最小化的共同度量学习框架下。
• 通过马氏度量学习实现特征加权与选择，提升真实世界应用（如视频和图像分割）中的鲁棒性与性能。
• 为无监督划分任务的度量学习提供一种稳定、凸优化的替代方案，确保收敛性与更优的优化行为，替代以往的非凸方法。

提出的方法

• 将度量学习问题建模为大间隔结构化预测任务，其中结构化输出为将数据划分为簇或片段的划分结果。
• 定义基于间隔的损失函数，对相对于真实标签的错误或次优划分进行惩罚，以促进正确泛化。
• 引入结构化正则化项（如核范数或组Lasso），以促进低秩或稀疏解，实现特征选择与鲁棒性。
• 通过谱松弛或动态规划进行损失增强推理，高效求解优化过程中的结构化预测子问题。
• 对于部分标注的数据集，交替使用当前度量预测完整标签，并基于预测标签重新训练度量，以提升鲁棒性。
• 应用凸-凹规划（CCCP）求解所得的非光滑、非凸优化问题，确保收敛至局部最优解。

实验结果

研究问题

• RQ1 监督度量学习框架是否能显著提升无监督划分任务（如聚类与分割）的性能？
• RQ2 如何在多个部分或完全标注的数据集中学习一个共享的马氏度量，以提升划分任务的泛化能力？
• RQ3 大间隔结构化预测框架是否在划分性能上优于现有的凸与非凸度量学习方法？
• RQ4 通过马氏距离的度量学习在视频与图像数据分割中能提升多少性能，尤其是在结合音频与视频等多模态信息时？
• RQ5 所提方法能否泛化至复杂的真实世界数据（如具有分布变化而非仅均值漂移的生物信息学时间序列）？

主要发现

• 在视频分割任务中，结合音视频流时，度量学习将三个电视节目的平均分割损失从11.0降低至7.8，优于主成分分析（PCA）与基线度量。
• 在UCI数据集上，
• 在Weizmann马匹图像分割数据集中，所学习的度量将损失（公式8）从1.77（网格搜索）降低至1.54，p值为2.10⁻⁹，表明具有统计显著性。
• 对于Jaccard距离，所学习的度量达到0.45，优于网格搜索的0.53，p值为4.10⁻⁹，证实了性能的一致性提升。
• 在数据集上，
• 该方法在稳定性和收敛性方面显著优于非凸方法（如[3]），同时在Iris与Wine数据集上与现有凸基线方法（如[32]与RCA）保持竞争力。