[논문 리뷰] LORE: Jointly Learning the Intrinsic Dimensionality and Relative Similarity Structure From Ordinal Data

Vivek Anand, Alec Helbling외 4명|arXiv (Cornell University)|2026. 02. 04.

Aesthetic Perception and Analysis인용 수 0

한 줄 요약

LORE는 노이즈가 있는 트리플릿 비교로부터 임베딩과 고유 차원성을 함께 학습하고, 비볼록 Schatten-p quasi-norm으로 정규화하여 수렴 보장을 얻습니다.

ABSTRACT

Learning the intrinsic dimensionality of subjective perceptual spaces such as taste, smell, or aesthetics from ordinal data is a challenging problem. We introduce LORE (Low Rank Ordinal Embedding), a scalable framework that jointly learns both the intrinsic dimensionality and an ordinal embedding from noisy triplet comparisons of the form, "Is A more similar to B than C?". Unlike existing methods that require the embedding dimension to be set apriori, LORE regularizes the solution using the nonconvex Schatten-$p$ quasi norm, enabling automatic joint recovery of both the ordinal embedding and its dimensionality. We optimize this joint objective via an iteratively reweighted algorithm and establish convergence guarantees. Extensive experiments on synthetic datasets, simulated perceptual spaces, and real world crowdsourced ordinal judgements show that LORE learns compact, interpretable and highly accurate low dimensional embeddings that recover the latent geometry of subjective percepts. By simultaneously inferring both the intrinsic dimensionality and ordinal embeddings, LORE enables more interpretable and data efficient perceptual modeling in psychophysics and opens new directions for scalable discovery of low dimensional structure from ordinal data in machine learning.

연구 동기 및 목표

• 주관적 지각을 Ordinal 데이터에서 학습하도록 동기를 부여하고 임베딩 차원을 미리 지정하지 않기.
• 임베딩을 재학습하고 내재 랭크를 함께 복원하는 확장 가능한 ordinal embedding 방법 개발.
• 트리플 의 정확성와 표현의 간결함 사이의 균형을 맞추기 위해 정규화를 적용하여 과소적합과 과매개변수를 피하기.
• 최적화 절차의 수렴 보장을 제공하고 학습된 축의 해석 가능성을 입증하기.

제안 방법

• 트리플 손실과 Z에 대한 Schatten-p quasi-norm 정규화를 포함하는 ordinal embedding 목표를 형식화한다.
• 랭크 복원을 촉진하기 위해 핵 심norm을 비볼록 Schatten-p quasi-norm으로 대체한다.
• objective를 매끄럽게 하기 위해 hinge triplet 손실을 softplus로 평활화하고 최적화에 적합하게 만든다.
• Z와 정규화 가중치를 각 단계에서 업데이트하는 반복 가중치 알고리즘을 통해 비볼록 목표를 해결한다.
• 임의의 수열의 임베딩이 stationary point로 수렴한다는 수렴 보장을 제공한다.

실험 결과

연구 질문

• RQ1 ordinal triplet 데이터에서 임베딩과 고유 차원성을 공동으로 추론할 수 있는가?
• RQ2 Schatten-p 정규화가 전통적 핵 nominee 정규화에 비해 고유 랭크 복원에 도움이 되는가?
• RQ3 제안된 반복 최적화가 대규모 데이터 세트에서도 로버스트하고 확장 가능하며 트리플 정확성을 유지하는가?
• RQ4 학습된 저랭크 임베딩이 실제 지각 데이터에서 의미론적으로 해석 가능한 축을 생성하는가?

주요 결과

• LORE는 합성 데이터와 실제 데이터에서 true intrinsic dimensionality에 상응하는 저랭크 임베딩을 일관되게 복원한다.
• LORE는 베이스라인보다 낮은 랭크를 회복하면서 테스트 트리플 정확도도 경쟁력 있게 달성한다.
• LORE는 다양한 질의 비율과 노이즈 수준에서 고유 랭크 복원에서 베이스라인을 능가한다.
• 크라우드소싱 실데이터에서 LORE는 의미 있는 지각 개념과 정렬된 의미론적으로 해석 가능한 축을 학습한다.
• 방법은 각 반복에서 복잡도 O(d′(T+Nd′))로 확장되며 stationary point로 수렴한다.