[论文解读] Convex variational methods for multiclass data segmentation on graphs

Egil Bae, Ekaterina Merkurjev|arXiv (Cornell University)|May 4, 2016

Advanced Neural Network Applications参考文献 65被引用 4

一句话总结

本文提出了一种针对高维数据和3D点云的基于图的多类别分割的凸松弛方法，通过基于对偶的算法将原本非凸且NP难的问题转化为可处理的凸优化问题。该方法在非均匀类别分布下仍能实现全局最优解，具有优异的准确性，在基准数据集和真实世界3D点云分割任务中表现出当前最先进的性能。

ABSTRACT

Graph-based variational methods have recently shown to be highly competitive for various classification problems of high-dimensional data, but are inherently difficult to handle from an optimization perspective. This paper proposes a convex relaxation for a certain set of graph-based multiclass data segmentation problems, featuring region homogeneity terms, supervised information and/or certain constraints or penalty terms acting on the class sizes. Particular applications include semi-supervised classification of high-dimensional data and unsupervised segmentation of unstructured 3D point clouds. Theoretical analysis indicates that the convex relaxation closely approximates the original NP-hard problems, and these observations are also confirmed experimentally. An efficient duality based algorithm is developed that handles all constraints on the labeling function implicitly. Experiments on semi-supervised classification indicate consistently higher accuracies than related local minimization approaches, and considerably so when the training data are not uniformly distributed among the data set. The accuracies are also highly competitive against a wide range of other established methods on three benchmark datasets. Experiments on 3D point clouds acquired by a LaDAR in outdoor scenes, demonstrate that the scenes can accurately be segmented into object classes such as vegetation, the ground plane and human-made structures.

研究动机与目标

• 为解决基于图的非凸多类别分割问题的计算不可行性，此类问题为NP难且易陷入局部极小值。
• 开发一种凸松弛方法，能紧密逼近原始的非凸能量泛函，同时保持区域同质性、总变差以及类别大小约束的结构。
• 通过基于对偶的算法实现全局最优解，该算法隐式且高效地处理约束条件。
• 在训练数据非均匀分布的情况下，展示在半监督分类和无监督3D点云分割任务中的优越性能。
• 提供理论保证：在特定图连通性条件下，凸松弛可产生全局最优解。

提出的方法

• 构建一个结合图总变差、区域同质性项、监督标签和类别大小约束的多类别分割能量泛函。
• 通过利用对偶理论并使用对偶变量表示图边上通量的方式，对原始非凸问题实施凸松弛。
• 采用基于对偶的算法，隐式处理标签函数上的约束，无需显式投影或惩罚项。
• 通过在水平 α ∈ (0,1) 处对连续的原始解进行阈值化处理，恢复二值标签，该方法在连通分量条件下被证明可获得全局最优解。
• 依赖原始解与对偶解之间的等价性，通过鞍点条件确保最优对偶变量 q* 满足对偶范数球上的上确界条件。
• 将该方法应用于半监督分类（带标签数据）和无监督分割（带类别大小正则化），使用基于最近邻或基于核的相似性矩阵构建的图拉普拉斯矩阵。

实验结果

研究问题

• RQ1 基于图的非凸多类别分割问题的凸松弛能否产生全局最优解？
• RQ2 该凸公式在解的质量和理论保证方面，与原始NP难问题的逼近程度如何？
• RQ3 所提出的基于对偶的算法能否高效求解具有隐式标签约束的约束分割问题？
• RQ4 在训练数据非均匀分布的情况下，该方法是否优于非凸方法，特别是在半监督分类任务中？
• RQ5 该方法能否实现对3D点云中地面、植被和建筑物等有意义类别的准确且全局最优的分割？

主要发现

• 凸松弛能紧密逼近原始非凸问题，理论与实验结果均证实其可恢复全局最优解。
• 基于对偶的算法通过阈值化连续原始解实现全局最优，这些解被证明可生成满足原始非凸约束的二值标签。
• 在基准半监督数据集上，该方法的准确率始终高于非凸方法，尤其在训练数据非均匀分布时提升显著。
• 该方法在三个标准基准数据集上表现出当前最先进的性能，优于多种广泛使用的分类方法。
• 在室外场景3D点云分割中，该方法能准确分离地面、植被和人工结构，验证了其在真实世界数据上的鲁棒性。
• 理论分析证明：当最小化器仅分配两类时，在任意 α ∈ (0,1) 处进行阈值化处理，均可获得全局最优的二值解。