[論文レビュー] Randomized Iterative Methods for Linear Systems: Momentum, Inexactness and Gossip

Nicolas Loizou|arXiv (Cornell University)|Sep 26, 2019

Stochastic Gradient Optimization Techniques参考文献 195被引用数 4

ひとこと要約

本稿は、大規模な線形方程式系および最適化問題を解くために、ランダム化反復手法にモーメンタム、不正確性、gossipベース通信を組み合わせた手法を提案する。本稿は、ランダム化gossipアルゴリズムに対する最初の保証付き加速線形収束レートを確立し、新たなプライバシー保護型変種を提案することで、分散環境における効率性とスケーラビリティを著しく向上させる。

ABSTRACT

In the era of big data, one of the key challenges is the development of novel optimization algorithms that can accommodate vast amounts of data while at the same time satisfying constraints and limitations of the problem under study. The need to solve optimization problems is ubiquitous in essentially all quantitative areas of human endeavor, including industry and science. In the last decade there has been a surge in the demand from practitioners, in fields such as machine learning, computer vision, artificial intelligence, signal processing and data science, for new methods able to cope with these new large scale problems. In this thesis we are focusing on the design, complexity analysis and efficient implementations of such algorithms. In particular, we are interested in the development of randomized iterative methods for solving large scale linear systems, stochastic quadratic optimization problems, the best approximation problem and quadratic optimization problems. A large part of the thesis is also devoted to the development of efficient methods for obtaining average consensus on large scale networks.

研究の動機と目的

• 大規模な線形方程式系および確率的二次最適化問題を解くための効率的なランダム化反復手法の設計。
• ヘヴィーボールモーメンタムを組み込んだ一次の手法を拡張し、凸二次問題の文脈でその収束を統一的な枠組みで分析する。
• 正確な部分問題の解法要件を緩和するために、不正確なバージョンを導入し、計算コストを削減しながら収束性を維持する。
• ブロック処理、加速、プライバシー保護型変種を可能にする一般化されたランダム化gossipアルゴリズムのフレームワークを構築する。
• 収束保証を損なわずに、gossipプロトコルに新たなプライバシー保護メカニズムを導入することで、分散ネットワークにおける個人情報の保護を実現する。

提案手法

• スパースデータ環境下で反復を高速化できるように、計算コストが低いステochasticモーメンタムを導入し、決定的モーメンタムの代替手段とする。
• 部分問題の近似解（誤差が有界）を許容することで、SGD、確率的ニュートン法、proximal point法、部分空間上昇法の不正確なバージョンを分析する。
• 線形方程式系に対するランダム化プロジェクション法を介して、ランダム化Kaczmarz型手法とgossipアルゴリズムの間の関係を確立する。
• gossipアルゴリズムを一貫性系のランダム化反復ソルバーとしてモデル化することで、統一的なフレームワークを構築し、ブロック処理および加速型変種を可能にする。
• 3種類のプライバシー保護型gossipプロトコル（Binary Oracle、ε-Gap Oracle、制御的ノイズ挿入）を提案し、更新時の情報共有を弱める。
• 双対性を用いて、最良近似問題の双対を解くアルゴリズムを設計し、平均一貫性への収束を保証するとともにプライバシーを保護する。

実験結果

リサーチクエスチョン

• RQ1 ステオチスティック的モーメンタムは、線形方程式系および最適化のためのランダム化反復手法の加速に利用可能であり、線形収束を達成するか？
• RQ2 部分問題が近似的に解かれる場合、ステオチスティック的一次手法の不正確なバージョンの収束レートはいかほどか？
• RQ3 分散平均一貫性のための、保証付き加速収束レートを有するランダム化gossipアルゴリズムを設計可能か？
• RQ4 収束性や正確性を損なわずに、gossipベースの一致アルゴリズムにおけるプライバシーをどのように保護できるか？
• RQ5 線形方程式系のためのランダム化反復手法の枠組みを拡張し、既存のgossipプロトコルを統一的かつ一般化できるか？

主な発見

• 本稿は、凸二次問題におけるステオチスティック的ヘヴィーボール法に対して、最初のグローバルで非漸近的な線形収束レートを確立した。
• スパースデータ環境下で、小さなモーメンタムパラメータを用いる場合、ステオチスティック的モーメンタム手法は決定的モーメンタムバージョンよりも優れた全体的な複雑度を達成する。
• 不正確なステオチスティック的手法の変種は、有界な不正確性誤差のもとで線形収束を維持し、反復回数が増加するものの、解に到達するまでの時間が著しく短縮される。
• 提案された加速gossipプロトコルは、既存のランダム化gossipアルゴリズムよりも保証付きで高速な線形収束を達成し、無線センサーネットワークのトポロジーで実証された。
• プライバシー保護型gossipプロトコル（Binary Oracle、ε-Gap Oracle、制御的ノイズ挿入）は、平均一貫性への収束を達成するとともに、ノードのプライベート値を保護する。
• すべての提案されたプライバシー保護型プロトコルについて、理論的反復複雑度の境界が提供され、標準的なネットワークトポロジーにおける広範な数値実験により実用的収束が確認された。