[論文レビュー] Finite Sample Prediction and Recovery Bounds for Ordinal Embedding

Lalit Jain, Kevin Jamieson+1 more|arXiv (Cornell University)|Jun 22, 2016

Sparse and Compressive Sensing TechniquesEngineering参考文献 11被引用数 21

ひとこと要約

この論文は、距離行列の低ランク構造（ランク ≤ d+2）を活用して、ノイズのある三項比較下での順序埋め込みの有限標本予測および回復バウンドを確立する。低ランク構造と埋め込み空間の幾何的性質を活用し、低ランク行列回復におけるバイアスを是正することで、収束性と精度が向上した2つの新規アルゴリズム—ランク-d投影勾配降下法とデバイアス補正核ノルムPGD—を提案する。

ABSTRACT

The goal of ordinal embedding is to represent items as points in a low-dimensional Euclidean space given a set of constraints in the form of distance comparisons like "item $i$ is closer to item $j$ than item $k$". Ordinal constraints like this often come from human judgments. To account for errors and variation in judgments, we consider the noisy situation in which the given constraints are independently corrupted by reversing the correct constraint with some probability. This paper makes several new contributions to this problem. First, we derive prediction error bounds for ordinal embedding with noise by exploiting the fact that the rank of a distance matrix of points in $\mathbb{R}^d$ is at most $d+2$. These bounds characterize how well a learned embedding predicts new comparative judgments. Second, we investigate the special case of a known noise model and study the Maximum Likelihood estimator. Third, knowledge of the noise model enables us to relate prediction errors to embedding accuracy. This relationship is highly non-trivial since we show that the linear map corresponding to distance comparisons is non-invertible, but there exists a nonlinear map that is invertible. Fourth, two new algorithms for ordinal embedding are proposed and evaluated in experiments.

研究の動機と目的

• 有限標本予測誤差および回復誤差バウンドを導出することで、順序埋め込みの理論的理解のギャップを埋める。
• 既知のノイズモデル下で予測誤差と埋め込み精度の関係を分析する。
• ノイズのある順序制約から低次元埋め込みを効率的かつ理論的に正確に回復するためのアルゴリズムを開発する。
• 距離差から観測値への線形写像が非可逆である問題に対処し、非線形で可逆な写像を同定する。
• 収束速度と精度において最先端を上回るか同等の性能を示す2つの新規アルゴリズムを提案・評価する。

提案手法

• ユークリッド距離行列のランクが R^d において最大で d+2 であるという事実を用いて、予測誤差バウンドを導出する。
• 観測された三項制約の確率をモデル化するための既知のリンク関数 f を使用し、最尤推定を可能にする。
• 各ステップでグラム行列の上位 d 固有空間への射影を行う「ランク-d 投影勾配降下法（PGD）」を提案する。
• 核ノルム正則化におけるバイアスを是正するため、同定された部分空間上で最適化により固有値を再推定する「核ノルムPGD デバイアス補正」を導入する。
• 観測された三項比較のロジスティック損失を最小化する、グラム行列 G における非凸最適化フレームワークを採用する。
• 期待リスクのヘッセ行列がほぼスケーリングされた単位行列であると主張するための等長定理を用いる。

実験結果

リサーチクエスチョン

• RQ1 制約がノイズによって汚染される場合、順序埋め込みにおける有限標本予測誤差バウンドはどのように導出可能か？
• RQ2 既知のノイズモデルは、予測誤差と埋め込み精度の間の関係をどのように確立可能か？
• RQ3 距離差から観測値への線形写像が非可逆である場合でも、非線形写像がその写像を可逆化できるか？
• RQ4 順序埋め込みにおける低ランク行列回復に基づく新規アルゴリズムの収束性および精度特性は何か？
• RQ5 バイアス補正付き核ノルム法は、実際の応用において非凸的低ランク法と比較してどのように性能を示すか？

主な発見

• 予測誤差バウンドが、アイテム数 n、埋め込み次元 d、観測された三項比較の数に明示的に依存することを導出する。
• 真の距離行列のランクが最大で d+2 であることが分かっており、これを用いてタイトな有限標本バウンドを導出する。
• 線形写像が非可逆であるにもかかわらず、距離差から観測値への非線形可逆写像が存在することが示される。
• 提案されたランク-d PGD および核ノルムPGD デバイアス補正アルゴリズムは、収束が速く、実装が簡素であるという点で最先端の性能を達成する。
• デバイアス補正核ノルム法は、n、d、G* のスケーリングのすべてのテスト設定において、ランク-d PGD 法とほぼ同等の性能を示す。
• 実験的結果から、isometry 条件における最もタイトな定数 c1 と c2 の比が、n ≫ d+2 のとき n に依存しないことが示唆され、高次元設定における安定性が向上していることが示唆される。