[論文レビュー] Near-Optimal Bounds for Binary Embeddings of Arbitrary Sets

Samet Oymak, Ben Recht|arXiv (Cornell University)|Dec 14, 2015

Sparse and Compressive Sensing Techniques参考文献 20被引用数 24

ひとこと要約

本稿は、ガウス確率的行列を用いた任意の集合のハミング立方体上へのバイナリ埋め込みにおける近似的最適な標本複雑度の境界を確立する。構造的集合（部分空間やスパースベクトルなど）に対しては、$ m \sim \delta^{-2} \omega^2(K) $ の標本数で十分であり、線形埋め込みと同等の歪み-複雑度トレードオフを達成する。一般集合に対しては、先行研究の $ \delta^{-6} $ に比べ、改善された $ \delta^{-4} $ 依存性を達成する。

ABSTRACT

We study embedding a subset $K$ of the unit sphere to the Hamming cube $\{-1,+1\}^m$. We characterize the tradeoff between distortion and sample complexity $m$ in terms of the Gaussian width $ω(K)$ of the set. For subspaces and several structured sets we show that Gaussian maps provide the optimal tradeoff $m\sim δ^{-2}ω^2(K)$, in particular for $δ$ distortion one needs $m\approxδ^{-2}{d}$ where $d$ is the subspace dimension. For general sets, we provide sharp characterizations which reduces to $m\approx{δ^{-4}}{ω^2(K)}$ after simplification. We provide improved results for local embedding of points that are in close proximity of each other which is related to locality sensitive hashing. We also discuss faster binary embedding where one takes advantage of an initial sketching procedure based on Fast Johnson-Lindenstauss Transform. Finally, we list several numerical observations and discuss open problems.

研究の動機と目的

• バイナリ埋め込みの既知の境界と最適な線形埋め込み性能の間のギャップ、特に歪み依存性の面で、そのギャップを埋めること。
• 集合 $ K \subset \mathbb{S}^{n-1} $ をハミング立方体 $ \{-1,+1\}^m $ に $ \delta $-歪みで埋め込むために必要な最小の標本複雑度 $ m $ を特定すること。
• 有限点集合からの既存の結果を、ガウス幅 $ \omega(K) $ などの幾何的測度を用いて、連続的かつ任意の集合へと拡張すること。
• バイナリ埋め込みの局所性に敏感な性質を分析し、近接する点対の歪みに対する境界を改善すること。
• FJLT やスパース行列による高速バイナリ埋め込みの性能を、標準的なガウス写像と比較して調査すること。

提案手法

• 集合の複雑度の測度として、$ \omega(K) = \mathbb{E}_{\bm{g} \sim \mathcal{N}(0,\mathbf{I}_n)}[\sup_{\bm{v} \in K} \bm{g}^T \bm{v}] $ を用いる。
• 集中不等式と被覆論理を用いて、ハミング距離の地理的距離からの偏差の上界を導出する。
• 特に幾何的構造を持つ集合に対しては、平均幅と局所的平均幅の組み合わせを用いて境界を導出する。
• 計算速度を向上させつつ埋め込み品質を維持するため、高速ジョンソン＝リンドストラウス変換（FJLT）を用いたスケッチフレームワークを導入する。
• バイナリ埋め込みと線形埋め込みを公平に比較できるように、正規化歪み指標を用いる。特に数値実験において有効である。
• 部分空間やスパース集合に対する数値シミュレーションを用いて、理論的境界の妥当性を検証し、ガウス行列、スパース行列、FJLT などの行列タイプ間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 任意の集合 $ K \subset \mathbb{S}^{n-1} $ に対して、$ \delta $-歪みを達成するための最適な標本複雑度 $ m $ は何か？
• RQ2 部分空間やスパースベクトルのような構造的集合に対して、バイナリ埋め込みは線形埋め込みと同等の $ \delta^{-2} $ 歪み依存性を達成できるか？
• RQ3 一般集合に対して歪み依存性はどのようにスケーリングされ、先行研究の $ \delta^{-6} $ の境界を上回る改善が可能か？
• RQ4 FJLT やスパース行列などの高速バイナリ埋め込み手法は、標準的なガウス写像と比較してどの程度の性能を示すか？
• RQ5 歪みを正規化することで公平に比較した場合、バイナリ埋め込みと線形埋め込みはどの程度同等の性能を示すか？

主な発見

• 部分空間や構造的スパース集合に対して、本稿は $ m = \mathcal{O}(\delta^{-2} d) $ の標本数で十分であることを確立し、最適な線形埋め込みの境界と一致する。
• 一般集合に対しては、$ m = \mathcal{O}(\delta^{-4} \omega^2(K)) $ の境界を導出し、先行研究の $ \delta^{-6} $ に比べ顕著に改善される。
• この境界は $ \delta $ と $ \omega(K) $ に関してタイトであり、部分空間やスパースベクトルに対しては既知の最適レートに還元される。
• 数値的結果から、バイナリ埋め込みの歪みは正規化された線形埋め込みと同等であり、顕著な性能差がないことが示された。
• FJLT やスパースガウス行列による高速バイナリ埋め込みは、標準的なガウス写像とほぼ同等の歪み性能を達成した。
• 本研究では、高速バイナリ埋め込みの理論的理解のギャップを特定し、今後の研究における未解決問題として浮き彫りにした。