[論文レビュー] Embedding Compression via Spherical Coordinates

He Xiao|arXiv (Cornell University)|Jan 22, 2026

Advanced Data Compression Techniques被引用数 0

ひとこと要約

論文は、単位ノルム埋め込みを球面座標へ変換することで再構成誤差を1e-7未満、訓練を要せずにほぼ“無損失”圧縮を実現し、圧縮角から直接類似度を計算可能にする約1.5×の圧縮を達成する方法を提示する。

ABSTRACT

We present an $ε$-bounded compression method for unit-norm embeddings that achieves 1.5$ imes$ compression, 25% better than the best prior lossless method. The method exploits that spherical coordinates of high-dimensional unit vectors concentrate around $π/2$, causing IEEE 754 exponents to collapse to a single value and high-order mantissa bits to become predictable, enabling entropy coding of both. Reconstruction error is bounded by float32 machine epsilon ($1.19 imes 10^{-7}$), making reconstructed values indistinguishable from originals at float32 precision. Evaluation across 26 configurations spanning text, image, and multi-vector embeddings confirms consistent compression improvement with zero measurable retrieval degradation on BEIR benchmarks.

研究の動機と目的

• 検索・マルチモーダルパイプラインにおける高忠実度・低容量の埋め込み保存の必要性を動機づける。
• 単位ノルム埋め込みの球面座標を活用した訓練不要・無損失能力を持つ圧縮法を提案する。
• 訓練なしでテキスト・画像・マルチベクトル埋め込みを跨いだ圧縮利得を定量化する。
• 再構成誤差がfloat32マシンイepsilon以下にとどまり、圧縮角からコサイン類似度を直接計算できることを示す。

提案手法

• 直交座標系の埋め込みベクターを単位ノルム埋め込み向け球面座標へ変換する。
• 転置、指数部と仮数部のバイトシャッフル、損失レス圧縮器（zstd）を適用してグループ化とエントロピー符号化を行う。
• 復元時の逆伝搬再帰公式を介して球面角からコサイン類似度を直接計算する。
• 指数部の濃度と再構成誤差の界を正式に示す境界を提供する。
• テキスト、画像、マルチベクトル埋め込みを跨ぐ26構成で評価し、一貫した利得を示す。

Figure 1 : Compression pipeline. Cartesian coordinates span diverse magnitudes with 20 to 40 different exponents, shown in varied colors. The spherical transform produces angles concentrated around $\pi/2\approx 1.57$ , collapsing nearly all exponents to 127, shown in uniform color. Transpose groups

実験結果

リサーチクエスチョン

• RQ1 単位ノルム埋め込みの球面座標表現は訓練なしの“ほぼ無損失”圧縮を可能にするか。
• RQ2 球面座標における指数部の濃度・仮数部の予測性を活用してどれだけの圧縮利得が得られるか。
• RQ3 手法は検索品質を保持し、圧縮表現から直接類似度を計算できるか。
• RQ4 テキスト、画像、マルチベクターのモダリティ間・次元の変化に対して頑健か。

主な発見

• 26構成の埋め込みで約1.5×の圧縮を達成。
• 高次元埋め込みではIEEE 754の指数部が127付近に集中し、指数部エントロピーが約2.6ビット/バイトから約0.03ビット/バイトへ低下。
• 高次の仮数部ビットも予測性が高まり、さらなる圧縮利得に寄与。
• 再構成誤差は1e-7未満（float32マシンε下）に制限され、検索品質を維持。
• ColBERTインデックス1,000,000文書でのストレージが240 GBから160 GBへ低減。
• 訓練不要でテキスト、画像、マルチベクトル埋め込みへ適用可能。
• スループットが高く（例：zstdレベル1でエンコード約487 MB/s、デコード約605 MB/s）。

Figure 2 : IEEE 754 exponent distribution for jina-embeddings-v4 (2048d). (a) Cartesian coordinates span 23 exponent values; (b) spherical angles concentrate around exponent 127 with 99.7% frequency.