[論文レビュー] Minimizing Quadratic Functions in Constant Time

Kohei Hayashi, Yuichi Yoshida|arXiv (Cornell University)|Aug 25, 2016

Sparse and Compressive Sensing Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、次元 $ n $ に依存しない定数時間で、二次関数の最小値を近似するサンプリングに基づく手法を提案する。ランダムに $ k $ 個のインデックスを抽出し、縮小された問題を解くことで、高確率 $ 1-\delta $ で $ O(\epsilon n^2) $ の誤差を達成する。大規模な問題において、実行時間と精度の両面で既存の手法を上回る。

ABSTRACT

A sampling-based optimization method for quadratic functions is proposed. Our method approximately solves the following $n$-dimensional quadratic minimization problem in constant time, which is independent of $n$: $z^*=\min_{\mathbf{v} \in \mathbb{R}^n}\langle\mathbf{v}, A \mathbf{v} angle + n\langle\mathbf{v}, \mathrm{diag}(\mathbf{d})\mathbf{v} angle + n\langle\mathbf{b}, \mathbf{v} angle$, where $A \in \mathbb{R}^{n imes n}$ is a matrix and $\mathbf{d},\mathbf{b} \in \mathbb{R}^n$ are vectors. Our theoretical analysis specifies the number of samples $k(δ, ε)$ such that the approximated solution $z$ satisfies $|z - z^*| = O(εn^2)$ with probability $1-δ$. The empirical performance (accuracy and runtime) is positively confirmed by numerical experiments.

研究の動機と目的

• 標準的手法が $ O(n^3) $ 時間を要する高次元問題における二次関数最小化のスケーラビリティのボトル neck を解消すること。
• 大規模応用を想定し、$ n $ に依存しない定数時間で二次関数の最適値を計算する手法を設計すること。
• 近似誤差が高確率 $ 1-\delta $ で $ O(\epsilon n^2) $ に抑えられることを保証し、統計的・機械学習的タスクに適したものとすること。
• 大規模問題において、Nyström の手法など既存のサブリニア手法と比較して、実行時間と精度の両面で優れていること。

提案手法

• インデックス集合 $ \{1, \dots, n\} $ から一様にランダムに $ k = k(\epsilon, \delta) $ 個のインデックスをサンプリングし、サンプルされたインデックス上での部分問題を構築する。
• サンプルされた部分行列 $ A|_S $、部分ベクトル $ \mathbf{d}|_S $、および $ \mathbf{b}|_S $ に対して、縮小された二次関数最小化問題を解く。
• 最終的な推定値は、$ \frac{n^2}{k^2} $ でスケーリングされ、元の問題の最適値を近似する。
• 理論的分析では、グラフ極限理論を用いて、元の問題とサンプリングされた問題との距離を制限し、誤差の制御を保証する。
• クエリアクセスを $ A $、$ \mathbf{d} $、$ \mathbf{b} $ に対して仮定し、実数RAMモデルで動作する。
• サンプル数 $ k(\epsilon, \delta) $ は、$ |z - z^*| = O(\epsilon n^2) $ が確率 $ 1 - \delta $ で成立するように導出される。

実験結果

リサーチクエスチョン

• RQ1 高次元の二次関数の最小値は、$ n $ に依存しない定数時間で近似可能か？
• RQ2 $ O(\epsilon n^2) $ の誤差を高確率で達成するための必要なサンプル数 $ k(\epsilon, \delta) $ は何か？
• RQ3 本手法の精度と実行時間は、大規模問題におけるNyströmの手法や二次計画法と比べてどうか？
• RQ4 本手法は、ピアソン距離推定のようなカーネルベースの推定問題に効果的に適用可能か？

主な発見

• 提案手法は、$ O(k^2) $ のクエリと $ \mathrm{poly}(k) $ の時間で、確率 $ 1 - \delta $ で $ O(\epsilon n^2) $ の近似誤差を達成する。ここで $ k = k(\epsilon, \delta) $ である。
• 数値実験により、$ n $ の値に関わらず、絶対誤差を $ n^2 $ でスケーリングした値が均等に制御されていることが確認され、理論的誤差境界の妥当性が裏付けられた。
• ピアソン距離推定において、提案手法はNyströmの手法よりも著しく低い誤差を達成した：$ k=160 $ 時に $ 0.0003 \pm 0.0003 $ 対 $ 0.0254 \pm 0.0285 $ であった。
• 提案手法の実行時間は、$ n = 500 $ から $ 5000 $ の範囲でほぼ一定に保たれ、$ 0.002 $ から $ 0.035 $ 秒であった。一方、Nyströmの手法は $ 0.005 $ から $ 1.972 $ 秒に増加した。
• 定数時間の複雑度のおかげで、特に $ k $ が大きい場合に、精度と効率の両面でNyströmの手法を上回った。
• 本手法は、一般の二次形式に問題をエンコードすることで、カーネル法（例：ピアソン距離の推定）に適用可能である。