[論文レビュー] Entropy-based Bounds on Dimension Reduction in L_1

Oded Regev|arXiv (Cornell University)|Aug 5, 2011

Complexity and Algorithms in Graphs参考文献 3被引用数 6

ひとこと要約

本稿は、L₁における次元削減のタイトな下界を示す、エントロピーに基づく新しい証明を提示する。特定のN点のL₁部分集合をℓ₁^dに歪みDで埋め込むには、次元d ≥ N^{Ω(1/D²)}が必要であり、歪み1+εの低歪みの場合にはd ≥ N^{1−O(1/log(1/ε))}である。証明は、d次元における確率分布へのグラフの辺ラベルの情報理論的符号化に依存し、相互情報量とエントロピーを用いて、再帰的サイクルグラフ構成を介して次元の下界を導出する。

ABSTRACT

We show that for every large enough integer $N$, there exists an $N$-point subset of $L_1$ such that for every $D>1$, embedding it into $\ell_1^d$ with distortion $D$ requires dimension $d$ at least $N^{Ω(1/D^2)}$, and that for every $\eps>0$ and large enough integer $N$, there exists an $N$-point subset of $L_1$ such that embedding it into $\ell_1^d$ with distortion $1+\eps$ requires dimension $d$ at least $N^{1-O(1/\log(1/\eps))}$. These results were previously proven by Brinkman and Charikar [JACM, 2005] and by Andoni, Charikar, Neiman, and Nguyen [FOCS 2011]. We provide an alternative and arguably more intuitive proof based on an entropy argument.

研究の動機と目的

• 既知のL₁における次元削減下界の、エントロピーを用いたより直感的な証明を提供すること。
• 制御された歪みにおけるL₁のN点部分集合をℓ₁^dに埋め込む際のタイトな下界を確立すること。
• 低歪み埋め込み（1+ε）において、必要な次元がNに対してほぼ線形に増加することを示すこと。
• Brinkman & Charikar (2005) および Andoni et al. (2011) の結果を、洗練された情報理論的枠組みを用いて統一的かつ再導出すること。

提案手法

• 頂点が{0,1}^{k^n}内のバイナリーベクトルでラベル付けされた再帰的サイクルグラフG_{k,n}を構築し、L₁内の点集合P_{k,n}を形成する。
• G_{k,n}の各辺を、低歪み埋め込みを介してℓ₁^d内のd次元ベクトルに写像し、ベクトル差を確率分布として扱う。
• 相互情報量の連鎖則を用いて、埋め込み出力のエントロピーを下界で抑え、それを次元dと関連付ける。
• 歪みを制御するδを用いて、条件付き相互情報量I(X_ℓ : M | X₁,…,X_{ℓ−1})がlog k − δ log(k−1) − H(δ)以上であることを示す重要な補題を適用する。
• 任意のℓ₁ベクトルの一般ケースを、変換g(x) = (max{f(x),0}, max{−f(x),0}, 1−‖f(x)‖₁)によって非負確率分布に還元する。
• データ処理不等式と、混合分布のℓ₁ノルムに関する構造的仮定を用いて、相互情報量を下界で抑え、結果としてdの下界を得る。

実験結果

リサーチクエスチョン

• RQ1 歪みDでL₁の特定のN点部分集合をℓ₁^dに埋め込むために必要な最小次元dは何か？
• RQ2 歪みDが大きい場合、必要な次元はNとどのようにスケーリングするか？
• RQ3 低歪み埋め込み（1+ε）におけるL₁の次元のタイトな下界は何か？
• RQ4 エントロピーと情報理論的手法は、L₁における既知の次元削減限界をより直感的に導出できるか？

主な発見

• 任意のD > 1に対して、L₁のN点部分集合をℓ₁^dに歪みDで埋め込むには、次元d ≥ N^{Ω(1/D²)}が必要である。
• 歪み1+εの場合は、必要な次元は少なくともd ≥ N^{1−O(1/log(1/ε))}であり、これはNに対してほぼ線形に増加する。
• 指数部の定数にまで一致するタイトな下界であり、Brinkman & CharikarおよびAndoni et al.の既知の結果と一致する。
• エントロピーに基づく証明は、従来の組合せ的または幾何的議論よりも、より直感的な情報理論的枠組みを用いて同じ下界を達成する。
• 再帰的サイクルグラフG_{k,n}を用い、{0,1}^{k^n}内のラベルを用い、レベルℓにおける反対側の距離がk^{n−ℓ+1}に成長する。
• 相互情報量の下界I(X_ℓ : M | X₁,…,X_{ℓ−1}) ≥ log k − δ log(k−1) − H(δ)が、次元下界を導出可能にする核心的な技術的要素である。