[論文レビュー] Condition Numbers of Random Toeplitz and Circulant Matrices

Victor Y. Pan, Guoliang Qian|arXiv (Cornell University)|Dec 19, 2012

Random Matrices and Applications参考文献 21被引用数 7

ひとこと要約

本稿は、ガウスノイズを伴うランダムなトーペリッツ行列および巡回行列の条件数を分析し、決定論的な構造的行列とは異なり、サイズが増大してもこれらのランダム行列は良好な条件数を維持することを証明している。驚くべきことに、巡回行列の条件数は非常にゆっくりと増大し、ランダムなトーペリッツ行列の条件数は有界のまま保たれる。これは、一部の決定論的ケースで見られる指数的増大とは対照的である。数値的実験により形式的な推定値が裏付けられているが、巡回行列は実際の性能において理論予測を上回る結果を示した。

ABSTRACT

Estimating the condition numbers of random structured matrices is a well known challenge, linked to the design of efficient randomized matrix algorithms. We deduce such estimates for Gaussian random Toeplitz and circulant matrices. The former estimates can be surprising because the condition numbers grow exponentially in n as n grows to infinity for some large and important classes of n-by-n Toeplitz matrices, whereas we prove the opposit for Gaussian random Toeplitz matrices. Our formal estimates are in good accordance with our numerical tests, except that circulant matrices tend to be even better conditioned according to the tests than according to our formal study.

研究の動機と目的

• ランダムな構造的行列、特にトーペリッツおよび巡回行列の条件数を推定するという未解決の課題に取り組む。
• 決定論的トーペリッツ行列における既知の指数的増大と、ランダムなインスタンスにおける観察された良好な条件数との間にある表面的な矛盾を解消する。
• ガウスノイズを伴うランダムなトーペリッツおよび巡回行列の条件数について、形式的な確率的推定値を提供する。
• 広範な数値実験を通じて、理論的発見を条件数の観点から検証する。
• このような行列の良好な条件数特性を裏付けることで、ランダム化アルゴリズムへの応用を支援する。

提案手法

• SVDおよびミニマックス性質を用いた、ガウスノイズを伴うランダム行列の特異値および極値特異値の形式的分析。
• ランダムなトーペリッツおよび巡回行列の特異値分布を用いた、条件数の境界の導出。
• 行列ノルム不等式および部分行列の特異値単調性（事実2.1）の適用により、構造的行列の性質とその条件数との関係を確立する。
• SVD分解 $ A = S_A \Sigma_A T_A^T $ を用いて極値特異値および条件数 $ \kappa(A) = \|A\|_2 \|A^{-1}\|_2 $ を分析する。
• サイズ $ n $ を変化させた際の条件数の数値的テストを、$ \ell^1 $、$ \ell^2 $、および $ \infty $-ノルムを用いて実施。
• 理論的推定値と、ランダムなトーペリッツおよび巡回行列に関する数値実験からの実測結果の比較。

実験結果

リサーチクエスチョン

• RQ1 ガウスノイズを伴うランダムなトーペリッツ行列は、一部の決定論的トーペリッツ行列と同様に、サイズ $ n $ とともに指数的増大を示すか？
• RQ2 ランダムな巡回行列の条件数は、行列サイズ $ n $ に対してどのようにスケーリングされるか？
• RQ3 形式的な理論的推定値と、実測の数値的結果との一致度はどの程度か？
• RQ4 なぜ数値的実験において、巡回行列が理論的予測よりも良好に条件付けられているように見えるのか？
• RQ5 ランダムな構造的行列の良好な条件数特性を活用することで、ランダム化行列アルゴリズムの改善が可能か？

主な発見

• ガウスノイズを伴うランダムなトーペリッツ行列の条件数は、$ n $ とともに指数的増大を示さない。これは一部の決定論的トーペリッツ行列とは対照的である。
• ガウスノイズを伴うランダムな巡回行列の条件数は、$ n $ とともに極めてゆっくりと増大し、強い数値的安定性を示している。
• 数値的実験により、トーペリッツおよび巡回行列の両方について理論的推定値が裏付けられ、条件数は $ n $ とともに僅かに増加するにとどまる。
• 数値的実験において、巡回行列は理論的予測よりも一貫して良好に条件付けられていた。これは、形式的境界と実際の性能との間にギャップがあることを示唆している。
• $ n = 1048576 $ の場合、ランダムな巡回行列の平均条件数は $ 4.8 \times 10^3 $ であり、増大が非常に遅いことが示された。
• $ n = 8192 $ の場合、ランダムなトーペリッツ行列の平均条件数は $ 1.2 \times 10^6 $ であり、決定論的ケースにおける指数的増大の理論的期待とは対照的に、中程度の増大にとどまった。