[論文レビュー] Using the Johnson-Lindenstrauss lemma in linear and integer programming

Ky Vu, Pierre‐Louis Poirion+1 more|arXiv (Cornell University)|Jul 3, 2015

Sparse and Compressive Sensing Techniques参考文献 5被引用数 5

ひとこと要約

本稿では、大規模な線形および整数プログラミングの可解性問題の次元を低減するために、ジョンソン＝リンデンストラウス補題を用いる手法を提案する。制約を低次元部分空間に射影することで、可解性を高い確率で保ちつつ次元を削減する。この手法は、密度の高いインスタンスにおいて最大100倍の高速化を達成し、さまざまな分布において可解性予測の正確性が99％を超える。

ABSTRACT

The Johnson-Lindenstrauss lemma allows dimension reduction on real vectors with low distortion on their pairwise Euclidean distances. This result is often used in algorithms such as $k$-means or $k$ nearest neighbours since they only use Euclidean distances, and has sometimes been used in optimization algorithms involving the minimization of Euclidean distances. In this paper we introduce a first attempt at using this lemma in the context of feasibility problems in linear and integer programming, which cannot be expressed only in function of Euclidean distances.

研究の動機と目的

• 可解性が二項間の距離ではなく幾何的コーンへの属性に依存する線形および整数プログラミングにおけるジョンソン＝リンデンストラウス補題の応用を探る。
• ランダム射影による次元削減が、大規模なLPおよびILP問題の可解性を高い確率で保持できるかどうかを特定する。
• 密度の高いおよび疎な設定における、元の問題と比較して射影された問題の計算的性能と正確性を評価する。
• JLLフレームワークを用いて、ランダム射影における可解性の歪みに関する理論的および実験的境界を確立する。

提案手法

• ジョンソン＝リンデンストラウス補題を用いて、行列 $ A $ および右辺ベクトル $ b $ を次元 $ \mathbb{R}^k $ の低次元空間に射影する。ここで $ k = O(\varepsilon^{-2} \log n) $ であり、$ A $ の列間の距離が歪み度 $ \varepsilon $ 以内に保たれる。
• 元の問題 $ Ax = b, x \geq 0 $ の可解性は、$ b \in \text{cone}(A) $ であることと同値であり、代わりに射影された問題 $ T(A)x = T(b), x \in X $ を解く。
• i.i.d. 標準正規分布 $ \mathcal{N}(0, 1/\sqrt{k}) $ の要素を持つランダム射影行列 $ P \in \mathbb{R}^{k \times m} $ を用いて、変換 $ T(y) = Py $ を実装する。
• 理論的分析により、元の問題が不可解であれば、射影がコーンの幾何的構造を保つ限り、射影された問題も高い確率で不可解のままとなることが示される。
• 計算実験では、CPLEX 12.6 を JuMP を介して用い、元の問題と射影された問題の両方を解き、正確性（不可解性の一致割合）とパフォーマンス（CPU時間）を測定する。
• 密度の高いインスタンスでは、$ PA $ を一度計算した後、より小さな射影された問題を解くため、著しい高速化が達成され、可解性の正確性も高い水準を維持する。

実験結果

リサーチクエスチョン

• RQ1 ジョンソン＝リンデンストラウス補題を用いて、大規模な線形プログラミングの可解性問題の次元を低減し、高い確率で可解性を保持できるか。
• RQ2 射影されたILPおよびLPの可解性問題において、次元削減と正確性のトレードオフは何か。
• RQ3 CPU時間とスケーラビリティの観点から、射影された問題のパフォーマンスは元の問題と比べてどうか。
• RQ4 制約行列の分布（一様、指数、ガンマ）が異なる場合でも、この手法は有効性を保つのか。
• RQ5 スパarsityが射影手法の正確性とパフォーマンスに与える影響は何か。

主な発見

• 密度の高いLPおよびIPインスタンスでは、不可解性の保持確率が99％を超えた。特に最大のテストケース（例：1600×2000）では100％の一致を示し、高い信頼性を示した。
• 平均的なスピードアップは100倍以上であり、元の問題の解法時間（最大275.8秒）が射影されたバージョンでは1秒未塔にまで短縮された（例：1000×1500の一様LPでは8.84秒 vs. 0.31秒）。
• 一様分布および指数分布の両方で優れた性能を示し、1400×1500および1600×2000のLPにおいて正確性が99％を超えた。
• 疎なインスタンスでは、正確性は高いが性能が芳しくなかったため、疎な設定では限界があることが示された。
• 行列積 $ PA $ の計算オーバーヘッドは、ソルバー時間に比べて無視できるほど小さく、密度の高い問題に対して実用的であった。
• すべての分布において、500×800および700×800のIPインスタンスで100％の正確性を維持し、小規模な整数計画問題においても強固であることが示された。