[論文レビュー] LORE: Jointly Learning the Intrinsic Dimensionality and Relative Similarity Structure From Ordinal Data

Vivek Anand, Alec Helbling+4 more|arXiv (Cornell University)|Feb 4, 2026

Aesthetic Perception and Analysis被引用数 0

ひとこと要約

LORE はノイズのある三つ組比較から埋め込みと固有次元を同時に学習し、非凸 Schatten-p 準ノルムで正則化することで収束が停留点へ保証される。

ABSTRACT

Learning the intrinsic dimensionality of subjective perceptual spaces such as taste, smell, or aesthetics from ordinal data is a challenging problem. We introduce LORE (Low Rank Ordinal Embedding), a scalable framework that jointly learns both the intrinsic dimensionality and an ordinal embedding from noisy triplet comparisons of the form, "Is A more similar to B than C?". Unlike existing methods that require the embedding dimension to be set apriori, LORE regularizes the solution using the nonconvex Schatten-$p$ quasi norm, enabling automatic joint recovery of both the ordinal embedding and its dimensionality. We optimize this joint objective via an iteratively reweighted algorithm and establish convergence guarantees. Extensive experiments on synthetic datasets, simulated perceptual spaces, and real world crowdsourced ordinal judgements show that LORE learns compact, interpretable and highly accurate low dimensional embeddings that recover the latent geometry of subjective percepts. By simultaneously inferring both the intrinsic dimensionality and ordinal embeddings, LORE enables more interpretable and data efficient perceptual modeling in psychophysics and opens new directions for scalable discovery of low dimensional structure from ordinal data in machine learning.

研究の動機と目的

• ordinal データから主観的知覚を学習し埋め込み次元を事前に指定しない動機付け。
• 埋め込みとその固有ランクを同時に回復するスケーラブルな序数埋め込み手法を開発。
• 三つ組の正確さと表現のコンパクトさをバランスさせる正則化により過学習と過パラメータ化を回避。
• 最適化手法の収束保証を提供し、学習された軸の解釈可能性を示す。

提案手法

• 三つ組ロスに Z への Schatten-p 準ノルム正則化を加えた序数埋め込み目的を定式化。
• 核ノルムを非凸の Schatten-p 準ノルムへ置換してランク回復を促進。
• ヒンジ三つ組ロスをソフトプラスで滑らか化し、目的関数を微分可能にして最適化を容易に。
• Z と正則化重みを各反復で更新する反復ウェイティング法により非凸目的を解く。
• 収束保証を提供：埋め込み列が停留点へ収束する。

実験結果

リサーチクエスチョン

• RQ1 序数三つ組データから埋め込みと固有次元を同時に推定できるか。
• RQ2 Schatten-p 正則化は従来の核ノルム正則化と比べて固有ランク回復を改善するか。
• RQ3 提案手法は大規模データセットに対してロバストでスケーラブルであり、三つ組の精度を保てるか。
• RQ4 学習された低ランク埋め込みは実デ perceptual データで意味的に解釈可能な軸を生み出すか。

主な発見

• LORE は合成データおよび実データの両方で真の固有次元に対応する低ランク埋め込みを一貫して回復する。
• LORE は基準法よりも大幅に低いランクを回復しつつ、テスト三つ組精度で競争力を持つ。
• LORE は様々なクエリ分数とノイズレベルに対して固有ランク回復で基準法を上回る。
• クラウドソーシングされた実データ上で、LORE は意味のある知覚概念と整合する意味的に解釈可能な軸を学習する。
• 本手法は各反復での計算量を O(d′(T+Nd′)) の複雑さで拡張可能で、停留点へ収束する。