[论文解读] LORE: Jointly Learning the Intrinsic Dimensionality and Relative Similarity Structure From Ordinal Data

Vivek Anand, Alec Helbling+4 more|arXiv (Cornell University)|Feb 4, 2026

Aesthetic Perception and Analysis被引用 0

一句话总结

LORE 通过对非凸 Schatten-p 想法范数进行正则化，从带噪声的三元组比较中联合学习嵌入和内在维度，并对收敛到驻点提供保证。

ABSTRACT

Learning the intrinsic dimensionality of subjective perceptual spaces such as taste, smell, or aesthetics from ordinal data is a challenging problem. We introduce LORE (Low Rank Ordinal Embedding), a scalable framework that jointly learns both the intrinsic dimensionality and an ordinal embedding from noisy triplet comparisons of the form, "Is A more similar to B than C?". Unlike existing methods that require the embedding dimension to be set apriori, LORE regularizes the solution using the nonconvex Schatten-$p$ quasi norm, enabling automatic joint recovery of both the ordinal embedding and its dimensionality. We optimize this joint objective via an iteratively reweighted algorithm and establish convergence guarantees. Extensive experiments on synthetic datasets, simulated perceptual spaces, and real world crowdsourced ordinal judgements show that LORE learns compact, interpretable and highly accurate low dimensional embeddings that recover the latent geometry of subjective percepts. By simultaneously inferring both the intrinsic dimensionality and ordinal embeddings, LORE enables more interpretable and data efficient perceptual modeling in psychophysics and opens new directions for scalable discovery of low dimensional structure from ordinal data in machine learning.

研究动机与目标

• 从顺序数据中获得主观感知学习的动机，并避免预先指定嵌入维度。
• 开发一个可扩展的序嵌入方法，联合恢复嵌入及其内在秩。
• 进行正则化以在三元组准确性与表示紧凑性之间取得平衡，避免欠拟合和过度参数化。
• 为优化过程提供收敛保证，并展示学习到的轴的可解释性。

提出的方法

• 将秩次目标函数与对 Z 的 Schatten-p 想法范数正则化一起建立为序嵌入目标。
• 用非凸的 Schatten-p 想法范数替代核范数，以促进秩的恢复。
• 用 softplus 平滑 hinge 三元组损失，使目标函数可微并有利于优化。
• 通过迭代加权算法求解非凸目标，在每步更新 Z 和正则化权重。
• 提供收敛保证：嵌入序列收敛到一个驻点。

实验结果

研究问题

• RQ1 我们能否从顺序三元组数据中联合推断嵌入及其内在维度？
• RQ2 与传统的核范数正则化相比，Schatten-p 正则化是否能改善内在秩的恢复？
• RQ3 所提出的迭代优化方法在大规模数据集上是否鲁棒且可扩展，同时保持三元组的准确性？
• RQ4 学习到的低秩嵌入是否在真实感知数据上呈现可解释的轴向语义？

主要发现

• LORE 在合成数据和真实数据中始终能够恢复与真实内在维度相匹配的低秩嵌入。
• LORE 在恢复显著低秩的同时仍达到具有竞争力的测试三元组准确性。
• LORE 在不同查询比例和噪声水平下，在内在秩恢复方面优于基线方法。
• 在众包真实数据上，LORE 学到的轴具有与有意义感知概念对齐的语义可解释性。
• 该方法的时间复杂度与复杂度为 O(d′(T+Nd′)) 的每次迭代，并收敛到驻点。