[논문 리뷰] Finite Sample Prediction and Recovery Bounds for Ordinal Embedding

Lalit Jain, Kevin Jamieson외 1명|arXiv (Cornell University)|2016. 06. 22.

Sparse and Compressive Sensing TechniquesEngineering참고 문헌 11인용 수 21

한 줄 요약

이 논문은 노이즈가 있는 삼중 비교 하에서 거리 행렬의 낮은 질량 구조(질량 ≤ d+2)를 활용하여 순서형 임bedding에 대한 유한 표본 예측 및 복원 경계를 수립한다. 저자는 두 가지 새로운 알고리즘—랭크-d 투영 경사 하강법과 편향 보정 핵노름 PGD—을 제안하여 임bedding 공간의 기하학적 성질을 활용하고 낮은 질량 행렬 복원에서의 편향을 보정함으로써 수렴성과 정확도를 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The goal of ordinal embedding is to represent items as points in a low-dimensional Euclidean space given a set of constraints in the form of distance comparisons like "item $i$ is closer to item $j$ than item $k$". Ordinal constraints like this often come from human judgments. To account for errors and variation in judgments, we consider the noisy situation in which the given constraints are independently corrupted by reversing the correct constraint with some probability. This paper makes several new contributions to this problem. First, we derive prediction error bounds for ordinal embedding with noise by exploiting the fact that the rank of a distance matrix of points in $\mathbb{R}^d$ is at most $d+2$. These bounds characterize how well a learned embedding predicts new comparative judgments. Second, we investigate the special case of a known noise model and study the Maximum Likelihood estimator. Third, knowledge of the noise model enables us to relate prediction errors to embedding accuracy. This relationship is highly non-trivial since we show that the linear map corresponding to distance comparisons is non-invertible, but there exists a nonlinear map that is invertible. Fourth, two new algorithms for ordinal embedding are proposed and evaluated in experiments.

연구 동기 및 목표

• 유한 표본 예측 및 복원 오차 경계를 유도하여 순서형 임bedding 이론적 이해의 격차를 메운다.
• 알려진 노이즈 모델 하에서 예측 오차와 임bedding 정확도 간의 관계를 분석한다.
• 노이즈가 있는 순서 제약 조건으로부터 저차원 임bedding을 효율적이고 증명 가능한 정확도로 복원하기 위한 알고리즘을 개발한다.
• 거리 차이에서 관측치로의 선형 사상의 역행 불가능성을 해결하기 위해 비선형 역행 가능한 사상을 식별한다.
• 기존 최신 기술 수준의 성능을 충족하거나 초월하는 수렴 속도와 정확도를 갖춘 두 가지 새로운 알고리즘을 제안하고 평가한다.

제안 방법

• 유클리드 거리 행렬의 질량이 R^d에서 최대 d+2임을 이용하여 예측 오차 경계를 유도한다.
• 관측된 삼중 비교의 확률을 모델링하기 위해 알려진 링크 함수 f를 사용하여 최대우도 추정을 가능하게 한다.
• 각 단계에서 그람 행렬의 상위 d 고유공간에 투영하는 랭크-d 투영 경사 하강법(Rank-d PGD)을 제안한다.
• 핵노름 정규화에서 발생하는 편향을 보정하기 위해 식별된 부분공간에서 최적화를 통해 고유값을 재추정하는 핵노름 PGD 편향 보정법을 도입한다.
• 관측된 삼중 비교에 대해 로지스틱 손실을 최소화하는 그람 행렬 G에 대한 비볼록 최적화 프레임워크를 사용한다.
• 기대 위험의 헤시안이 거의 스케일된 항등행렬임을 주장하기 위해 등장성 정리를 활용한다.

실험 결과

연구 질문

• RQ1 제약 조건이 노이즈에 의해 손상된 경우, 순서형 임bedding에 대해 어떤 유한 표본 예측 오차 경계를 도출할 수 있는가?
• RQ2 알려진 노이즈 모델이 예측 오차와 임bedding 정확도 간의 연결을 어떻게 가능하게 하는가?
• RQ3 거리 차이에서 관측치로의 선형 사상이 비가역일 경우, 비선형 사상이 이를 역행할 수 있는가?
• RQ4 낮은 질량 행렬 복원 기반의 새로운 알고리즘의 수렴성과 정확도 특성은 무엇인가?
• RQ5 편향 보정 핵노름 방법은 실질적으로 비볼록 낮은 질량 행렬 방법과 어떻게 비교되는가?

주요 결과

• 예측 오차 경계가 항목 수 n, 임bedding 차원 d, 관측된 삼중 비교 수에 명시적으로 의존하는 것으로 도출되었다.
• 진짜 거리 행렬의 질량은 최대 d+2이며, 이는 날카운 유한 표본 경계를 유도하는 데 활용된다.
• 비가역적인 선형 사상에서 거리 차이에서 관측치로의 사상에 대해 비선형 역행 가능한 사상이 존재한다.
• 제안된 랭크-d PGD 및 핵노름 PGD 편향 보정 알고리즘이 더 빠른 수렴성과 간편한 구현을 통해 최신 기술 수준의 성능을 달성한다.
• 편향 보정 핵노름 방법은 n, d, G*의 스케일링 설정에 관계없이 랭크-d PGD 방법의 성능을 거의 정확히 따라간다.
• 실험 결과는 이so메트리 조건에서 가장 날카운 상수 c1과 c2의 비율이 n ≫ d+2일 때 n에 의존하지 않음을 시사하며, 고차원 설정에서의 안정성이 향상됨을 나타낸다.