[論文レビュー] Finding a Large Submatrix of a Gaussian Random Matrix

David Gamarnik, Quan Li|arXiv (Cornell University)|Feb 26, 2016

Topological and Geometric Data Analysis参考文献 12被引用数 4

ひとこと要約

本稿では、定数 $k$ に対して、最大平均部分行列（LAS）アルゴリズムが高確率で平均部分行列値 $(1+o(1))\sqrt{2\log n/k}$ を達成することを確立し、長年の予想を裏付けた。さらに、$4/3$ の改善を達成する新しいアルゴリズム $\mathcal{IGP}$ を導入し、$\alpha^* \approx 1.3608$ における段階的転移が、重なりギャップ性質（OGP）の発現を示し、この閾値を超えるとアルゴリズムの困難性が予想される。

ABSTRACT

We consider the problem of finding a $k imes k$ submatrix of an $n imes n$ matrix with i.i.d. standard Gaussian entries, which has a large average entry. It was shown earlier by Bhamidi et al. that the largest average value of such a matrix is $2\sqrt{\log n/k}$ with high probability. In the same paper an evidence was provided that a natural greedy algorithm called Largest Average Submatrix ($\LAS$) should produce a matrix with average entry approximately $\sqrt{2}$ smaller. In this paper we show that the matrix produced by the $\LAS$ algorithm is indeed $\sqrt{2\log n/k}$ w.h.p. Then by drawing an analogy with the problem of finding cliques in random graphs, we propose a simple greedy algorithm which produces a $k imes k$ matrix with asymptotically the same average value. Since the greedy algorithm is the best known algorithm for finding cliques in random graphs, it is tempting to believe that beating the factor $\sqrt{2}$ performance gap suffered by both algorithms might be very challenging. Surprisingly, we show the existence of a very simple algorithm which produces a matrix with average value $(4/3)\sqrt{2\log n/k}$. To get an insight into the algorithmic hardness of this problem, and motivated by methods originating in the theory of spin glasses, we conduct the so-called expected overlap analysis of matrices with average value asymptotically $α\sqrt{2\log n/k}$. The overlap corresponds to the number of common rows and common columns for pairs of matrices achieving this value. We discover numerically an intriguing phase transition at $α^*\approx 1.3608..$: when $αα^*$. We conjecture that $α>α^*$ marks the onset of the algorithmic hardness.

研究の動機と目的

• LASアルゴリズムが、グローバル最適解より約 $\sqrt{2}$ 小さい平均値を持つ部分行列を生成するという予想を解明すること。
• ガウス確率行列における高平均部分行列を探索するための、LASより効果的な多項式時間アルゴリズムを開発すること。
• スピンガラス理論の文脈において、最大部分行列問題のアルゴリズム的困難性を、重なりギャップ性質（OGP）を用いて調査すること。
• $\alpha^* \approx 1.3608$ におけるOGPが、多項式時間アルゴリズムの根本的障壁を示しているかどうかを検討すること。

提案手法

• アルゴリズムの反復パスに条件付き確率を適用することで、LASアルゴリズムの出力が定数 $k$ に対して分布的に $\sqrt{2\log n/k}$ に収束することを証明する。
• ステップ $r$ における行列と、まだ見ぬ最良の $k\times n$ ストリップとの間の漸近的独立性を確立し、収束解析を可能にする。
• ランダムグラフにおけるクリーク探索ヒューリスティクスにインspiredされた新しい貪欲法 $\mathcal{IGP}$ を導入し、LASより $4/3$ の改善を達成する。
• 期待される重なり解析を用いて、高平均部分行列の幾何的構造を研究し、重なりを2つの行列間の共有行・列の割合として定義する。
• $\alpha^* = 5\sqrt{2}/(3\sqrt{3}) \approx 1.3608$ で段階的転移が発生し、重なり空間が連続的から不連続的へと移行することを同定し、OGPの発現を示す。
• OGP が $\alpha > \alpha^*$ で成立する場合、多項式時間アルゴリズムによる、平均値 $\geq (1+o(1))\alpha\sqrt{2\log n/k}$ を達成する部分行列の探索が不可能であると予想する。

実験結果

リサーチクエスチョン

• RQ1 定数 $k$ のとき、LASアルゴリズムは高確率で平均部分行列値 $(1+o(1))\sqrt{2\log n/k}$ を達成するか？
• RQ2 LASの $\sqrt{2}$ 要因のギャップを上回る、より高い平均値を達成する多項式時間アルゴリズムは構築可能か？
• RQ3 $\alpha^* \approx 1.3608$ におけるOGPは、この問題に対する効率的アルゴリズムの根本的障壁を示しているか？
• RQ4 $\alpha > \alpha^*$ で観察されるOGPは、実際にアルゴリズム的困難性を示しているのか、それとも新しいアルゴリズム的手法で克服可能か？
• RQ5 高平均部分行列の解空間の幾何的構造は何か？ また、スピンガラスモデルや段階的転移とどのように関係しているか？

主な発見

• 定数 $k$ に対して、LASアルゴリズムは高確率で平均部分行列値 $(1+o(1))\sqrt{2\log n/k}$ を達成し、BDN12の予想を裏付けた。
• LASアルゴリズムの反復回数は $n$ の増大に伴い確率的に有界であり、有限ステップで収束することが示された。
• 新しいアルゴリズム $\mathcal{IGP}$ はLASを $4/3$ で上回り、$k = o(n)$ のとき、平均値 $(1+o_k(1))(4/3)\sqrt{2\log n/k}$ を達成する部分行列を生成する。
• $\alpha^* = 5\sqrt{2}/(3\sqrt{3}) \approx 1.3608$ で段階的転移が発生し、重なり空間が連続的から不連続的へ移行し、重なりギャップ性質（OGP）の発現を示す。
• $\alpha > \alpha^*$ におけるOGPは、アルゴリズム的困難性の始まりを示すと予想され、平均値 $\geq (1+o(1))\alpha\sqrt{2\log n/k}$ を達成する多項式時間アルゴリズムは存在しないとされる。
• 本稿では、$5\sqrt{2}/(3\sqrt{3})$ の閾値を超えるには、多重量の構造を含む新しいアルゴリズム的手法が必要になる可能性があると示唆している。