[论文解读] Discriminative Clustering with Relative Constraints

Yuanli Pei, Xiaoli Z. Fern+2 more|arXiv (Cornell University)|Dec 30, 2014

Advanced Clustering Algorithms Research参考文献 26被引用 6

一句话总结

该论文提出DCRC，一种判别式聚类方法，利用相对约束——即询问实例 $x_i$ 是否比 $x_k$ 更相似于 $x_j$——并引入'无法确定'（dnk）响应以提升鲁棒性。通过建模实例、聚类成员关系与约束之间的概率关系，DCRC在最大化似然的同时强制实现聚类分离与平衡，相较于现有最先进方法，在合成数据与人工标注的噪声约束上均显著提升了F值与抗噪能力。

ABSTRACT

We study the problem of clustering with relative constraints, where each constraint specifies relative similarities among instances. In particular, each constraint $(x_i, x_j, x_k)$ is acquired by posing a query: is instance $x_i$ more similar to $x_j$ than to $x_k$? We consider the scenario where answers to such queries are based on an underlying (but unknown) class concept, which we aim to discover via clustering. Different from most existing methods that only consider constraints derived from yes and no answers, we also incorporate don't know responses. We introduce a Discriminative Clustering method with Relative Constraints (DCRC) which assumes a natural probabilistic relationship between instances, their underlying cluster memberships, and the observed constraints. The objective is to maximize the model likelihood given the constraints, and in the meantime enforce cluster separation and cluster balance by also making use of the unlabeled instances. We evaluated the proposed method using constraints generated from ground-truth class labels, and from (noisy) human judgments from a user study. Experimental results demonstrate: 1) the usefulness of relative constraints, in particular when don't know answers are considered; 2) the improved performance of the proposed method over state-of-the-art methods that utilize either relative or pairwise constraints; and 3) the robustness of our method in the presence of noisy constraints, such as those provided by human judgement.

研究动机与目标

• 为解决现有聚类方法仅能处理相对相似性查询的'是/否'响应的局限，特别是在用户无法自信判断比较结果的实际场景中。
• 建模实例相似性、潜在聚类成员关系与观测到的相对约束（包括'无法确定'（dnk）回答）之间的概率关系，以提升聚类准确率。
• 通过联合最大化观测约束的似然性并利用未标记数据强制实现聚类分离与平衡，从而提升聚类性能。
• 评估该方法对噪声约束的鲁棒性，特别是常见于实际应用中的人工判断产生的噪声。

提出的方法

• DCRC基于三个实例的潜在聚类成员关系，建模相对约束 $(x_i, x_j, x_k)$ 被回答为'是'（即 $x_i$ 比 $x_k$ 更相似于 $x_j$）的概率。
• 该方法采用生成式概率框架，在软聚类分配下最大化观测约束的似然性，同时整合已标记与未标记实例。
• 引入噪声模型以处理'无法确定'（dnk）响应，将其视为信息性而非忽略，基于聚类接近度建模其似然性。
• 通过正则化目标强制实现聚类分离与平衡，最小化未标记数据上的熵并最大化类间间隔，灵感源自半监督学习原理。
• 使用类似EM的算法进行优化，交替估计聚类分配与更新模型参数以最大化受限似然性。
• 通过使用基于真实标签的约束与受控噪声的人工标注约束进行评估，采用 $\epsilon = 0.15$ 建模不确定性。

实验结果

研究问题

• RQ1 在相对约束中引入'无法确定'（dnk）响应是否能提升聚类性能，相较于仅接受'是/否'回答的方法？
• RQ2 所提出的DCRC方法在噪声人工标注约束下的表现如何，特别是与基于度量学习或成对约束的方法相比？
• RQ3 '无法确定'（dnk）约束的引入是否提供了有意义的信息，从而增强聚类的鲁棒性与准确性？
• RQ4 DCRC模型的概率公式化在F值与抗噪能力方面，相较于现有判别式聚类方法，优势有多大？

主要发现

• DCRC在使用相对约束的合成数据上显著优于最先进方法，F值达0.7412（150个相对约束），优于Xing的0.6438与ITML的0.6347。
• 在人工标注的噪声约束下，DCRC仍保持高性能（F值0.7021），而竞争方法性能下降，表明其对标注噪声具有强鲁棒性。
• 引入'无法确定'（dnk）约束可提升性能且不降低结果，表明dnk响应携带有关聚类结构的有用信息。
• 该方法对超参数选择不敏感，$\epsilon$ 从0.05到0.2变化时F值波动小于0.01，表明在噪声环境中具有高度稳定性。
• DCRC-YN（无dnk）在噪声约束下仍优于ITML，表明即使不使用dnk，该方法的设计本身也增强了鲁棒性。
• 逻辑分类器基线的表现劣于无约束的K均值，证实DCRC的性能提升源于对辅助信息的有效利用，而非分类器本身。