[論文レビュー] Solving Tall Dense Linear Programs in Nearly Linear Time

Jan van den Brand, Yin Tat Lee+2 more|arXiv (Cornell University)|Feb 6, 2020

Sparse and Compressive Sensing Techniques参考文献 62被引用数 11

ひとこと要約

この論文は、ほぼ線形時間で高密度な線形計画問題を解く確率的アルゴリズムを提示している。高い確率で $\tilde{O}(nd + d^3)$ の実行時間に達し、高速行列乗算を避ける。密度の高い問題に対してほぼ最適性を維持しつつ、重み付きヒッター・データ構造、ジョンソン＝リンデンストラウススケッチ、逆行列のメンテナンスを活用した、頑健なプライマル・デュアル内点法を導入している。

ABSTRACT

In this paper we provide an $ ilde{O}(nd+d^{3})$ time randomized algorithm for solving linear programs with $d$ variables and $n$ constraints with high probability. To obtain this result we provide a robust, primal-dual $ ilde{O}(\sqrt{d})$-iteration interior point method inspired by the methods of Lee and Sidford (2014, 2019) and show how to efficiently implement this method using new data-structures based on heavy-hitters, the Johnson-Lindenstrauss lemma, and inverse maintenance. Interestingly, we obtain this running time without using fast matrix multiplication and consequently, barring a major advance in linear system solving, our running time is near optimal for solving dense linear programs among algorithms that do not use fast matrix multiplication.

研究の動機と目的

• 高密度で縦長の線形計画問題の実行時間のギャップを埋めること、特に $n = \tilde{\Theta}(d^2)$ 以上の場合に有効であるようにすること。
• 高速行列乗算に依存しないほぼ線形時間の複雑度を達成する線形計画ソルバーを開発すること。
• 高密度行列に対して $\tilde{O}(nd + d^3)$ の実行時間を達成し、高速行列乗算を用いない既存の最良の回帰アルゴリズムと一致させること。
• 複雑な $\tell{p}$-ルイス重み計算を避けつつ、$\tilde{O}(\td)$ 回の反復で安定で実装可能なプライマル・デュアル内点法を提供すること。

提案手法

• LeeとSidford（2014, 2019）のアイデアにインspiredされ、一般の $p$-ノルムルイス重みではなく $\tL{2}$ レバレッジスコアを用いる、$\tilde{O}(\td)$ 回の反復で実行される頑健なプライマル・デュアル内点法（IPM）を設計する。
• プライマルおよびデュアル反復の維持と更新を、$\tL{2}$-ヘビーヒッターに基づくベクトルデータ構造を用いて効率的に行う。
• ジョンソン＝リンデンストラウススケッチを用いて、近似行列積を維持し、ベクトル更新における大きな要素を検出することで、効率的なスパース回復を可能にする。
• レバレッジスコアのヒントを用いた逆行列メンテナンス技術を導入し、IPMにおける逆行列の更新を効率化し、1反復あたりのコストを削減する。
• 蓄積和の維持およびレバレッジスコアの変化検出を可能にする、新しいデータ構造を活用し、低コストで動的更新を実現する。
• これらの要素を統合して、ニュートンステップ、ヘッシアン更新、妥当性補正の総コストを制限することで、$\tilde{O}(nd + d^3)$ 時間を達成する完全なアルゴリズムを構築する。

実験結果

リサーチクエスチョン

• RQ1 高速行列乗算に依存しない高密度で縦長の問題に対して、線形計画ソルバーがほぼ線形時間の複雑度を達成できるか。
• RQ2 複雑な $p$-ノルムルイス重み計算を避けつつ、$\tilde{O}(\td)$ 回の反復で安定で実装可能なプライマル・デュアルIPMを設計できるか。
• RQ3 ヘビーヒッターおよびスケッチ技術を用いて、IPMにおけるプライマル・デュアル反復や行列の逆行列といった主要な量を効率的に維持できるか。
• RQ4 ほぼ線形時間の実行を達成するための $n$ と $d$ の最適なトレードオフは何か。
• RQ5 高速行列乗算を用いることで $d^3$ 項を $d^\tomega$ に削減できるか、それとも $d^3$ が高速行列乗算を用いないアルゴリズムにおいてほぼ最適であるか。

主な発見

• アルゴリズムは、$d$ 個の変数と $n$ 個の制約を持つ線形計画問題を、高い確率で $\tilde{O}(nd + d^3)$ 時間で解く。高密度で縦長の行列に対してほぼ線形時間である。
• 高速行列乗算を避けることで、$\tilde{O}(d^{2.5})$ の既存の境界に比べて著しく改善された $\tilde{O}(\td)$ の内点法反復回数を達成する。
• 高速行列乗算を避けることで、高速行列乗算を用いないアルゴリズムの中でほぼ最適性を達成し、線形方程式系の解法におけるブレークスルーがなければ、これ以上は改善できない。
• $\tL{2}$ レバレッジスコアとヘビーヒッター・データ構造の使用により、$p$-ノルム重みに依存する従来の手法と比較して、IPMの簡素化と安定性の向上が達成された。
• 逆行列メンテナンスおよびレバレッジスコアメンテナンスのコンponentsは、期待コストが $O(K \tlog^2 n)$ に抑えられ、$K$ を反復回数とする。
• 高速行列乗算を用いない高密度線形回帰の最良の既存実行時間と一致し、高密度線形計画法の新しい基準を確立した。