[論文レビュー] Convergence Analysis of Block Coordinate Algorithms with Determinantal Sampling

Mojmír Mutný, Michał Dereziński+1 more|arXiv (Cornell University)|Oct 25, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用数 5

ひとこと要約

本稿では、確率的ニュートン法におけるブロック座標選択のためのデターミナントサンプリングを導入し、ヘシアンの過剰近似行列の期待値に対する一般化逆行列の閉形式表現を可能にする。これにより、収束速度が過剰近似行列の固有値分布にのみ依存するようになり、最適なブロックサイズの解析的特定が可能となる。特に、固有値が急速に減少するカーネルリッジ回帰において、指数的高速化が示される。

ABSTRACT

We analyze the convergence rate of the randomized Newton-like method introduced by Qu et. al. (2016) for smooth and convex objectives, which uses random coordinate blocks of a Hessian-over-approximation matrix $\bM$ instead of the true Hessian. The convergence analysis of the algorithm is challenging because of its complex dependence on the structure of $\bM$. However, we show that when the coordinate blocks are sampled with probability proportional to their determinant, the convergence rate depends solely on the eigenvalue distribution of matrix $\bM$, and has an analytically tractable form. To do so, we derive a fundamental new expectation formula for determinantal point processes. We show that determinantal sampling allows us to reason about the optimal subset size of blocks in terms of the spectrum of $\bM$. Additionally, we provide a numerical evaluation of our analysis, demonstrating cases where determinantal sampling is superior or on par with uniform sampling.

研究の動機と目的

• ヘシアンの過剰近似を用いたブロック座標ニュートン法の収束解析の課題に対処すること。
• サンプリングされたヘシアン部分行列の期待一般化逆行列に対する閉形式表現の欠如を克服すること。
• 収束速度解析を簡素化し、最適ブロックサイズ選択を可能にするサンプリング戦略の開発。
• 特に異種データ設定において、一様サンプリングと比較して優れたまたは同等の性能を示すデターミナントサンプリングの優位性を示すこと。
• 過剰近似行列のスペクトル特性に基づいて、最適ブロックサイズの理論的・実験的妥当性を提供すること。

提案手法

• 過剰近似行列 M の対応する部分行列の行列式に比例する確率で座標ブロックをサンプリングするデターミナントサンプリングを提案する。
• 新規な期待値公式を導出：E[(M_S)^+] = (αI + M)^{-1}、ここで α は期待ブロックサイズを制御する。
• この公式を用いて、確率的ニュートン法の収束速度を M の固有値のみの関数として表現する。
• 特にカーネルリッジ回帰設定において、M のスペクトル減衰と関連付けて最適ブロックサイズを分析する。
• 実験では、正確なデターミナントサンプリングの代わりに、近似リッジレバレッジスコアを計算効率の良い代理として用いる。
• 合成データおよび実際の UCI データセットを用いた数値実験により、理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 デターミナントサンプリングにより、サンプリングされたヘシアン部分行列の期待一般化逆行列に対する閉形式表現が得られるか？
• RQ2 デターミナントサンプリング下での確率的ニュートン法の収束速度は、ヘシアン過剰近似行列 M のスペクトル特性にどのように依存するか？
• RQ3 デターミナントサンプリング下での RNM の最適ブロックサイズは何か？ また、M の固有値の減衰とどのように関連するか？
• RQ4 特に異種データにおいて、デターミナントサンプリングは一様サンプリングを上回るか、同等の性能を示すか？
• RQ5 実際のデータセットおよび合成データセットにおいて、デターミナントサンプリング下での理論的収束速度予測は実証的に検証可能か？

主な発見

• 新しい期待値公式が導出された：E[(M_S)^+] = (αI + M)^{-1}。これにより、複雑なブロック構造に依存しない収束解析が簡素化される。
• 収束速度は M の固有値分布にのみ依存するため、ブロックサイズの解析的最適化が可能となる。
• 固有値が指数的に減少するカーネルリッジ回帰では、理論的高速化が指数的であることが示される。
• 固有値の減衰が著しい場合、大きなブロックの逆行列計算コストを上回る収束速度の向上が得られ、より大きなブロックが有益である。
• ガウス混合モデルのような異種データでは、クラスタのカバー率が高いため、デターミナントサンプリングは一様サンプリングを著しく上回る。
• 実験結果から、デターミナントサンプリング下での最適ブロックサイズは、一様サンプリング下のそれとよく一致しており、実データセット（超伝導体、cpusmall）において理論的予測と整合的であることが示された。