[論文レビュー] Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem

Kushal Chakrabarti, Nirupam Gupta+1 more|arXiv (Cornell University)|Aug 6, 2020

Sparse and Compressive Sensing Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、サーバーエージェントネットワーク上の分散線形最小二乗問題における勾配降下法の高速化を目的として、反復的プリコンディショニング手法を提案する。適応的にプリコンディショニング行列を更新することにより、解が一意である場合に特段の超線形収束を達成し、標準的および加速勾配法と比較して、特に悪条件な状況下でも収束速度を顕著に向上させる。実世界のデータセットを用いた実験により、理想的な状況およびノイズあり状況の両方で妥当性が検証された。

ABSTRACT

This paper considers the multi-agent linear least-squares problem in a server-agent network. In this problem, the system comprises multiple agents, each having a set of local data points, that are connected to a server. The goal for the agents is to compute a linear mathematical model that optimally fits the collective data points held by all the agents, without sharing their individual local data points. This goal can be achieved, in principle, using the server-agent variant of the traditional iterative gradient-descent method. The gradient-descent method converges linearly to a solution, and its rate of convergence is lower bounded by the conditioning of the agents' collective data points. If the data points are ill-conditioned, the gradient-descent method may require a large number of iterations to converge. We propose an iterative pre-conditioning technique that mitigates the deleterious effect of the conditioning of data points on the rate of convergence of the gradient-descent method. We rigorously show that the resulting pre-conditioned gradient-descent method, with the proposed iterative pre-conditioning, achieves superlinear convergence when the least-squares problem has a unique solution. In general, the convergence is linear with improved rate of convergence in comparison to the traditional gradient-descent method and the state-of-the-art accelerated gradient-descent methods. We further illustrate the improved rate of convergence of our proposed algorithm through experiments on different real-world least-squares problems in both noise-free and noisy computation environment.

研究の動機と目的

• 悪条件なデータによる影響により、分散線形最小二乗問題における勾配降下法の収束が遅いという問題に取り組む。
• エージェントがローカルの生データをサーバーに共有しないプライバシー保護型の協調学習を可能にする。
• 条件数の事前知識が不要な、データの条件に適応するロバストな反復的プリコンディショニング機構を構築する。
• 既存手法よりも収束速度を向上させる—特に条件数が高い状況下でも—を実現する。同時に、分散的かつ通信効率の高い動作を維持する。
• 実世界のデータセットを用いて、ノイズなしおよびノイズありの計算環境下での性能向上を実証する。

提案手法

• エージェントが局所勾配を計算し、それを中央サーバーに送信して集約するサーバーエージェントネットワークアーキテクチャを導入する。
• 各反復で更新されるプリコンディショニング行列 $ K(t) $ を提案し、ヘッセ行列近似の条件数を改善する。
• プリコンディショニング勾配更新は $ x(t+1) = x(t) - K(t)^{-1} \sum_{i=1}^m g^i(t) $ で定義され、$ g^i(t) $ はエージェント $ i $ の局所勾配である。
• 勾配差分に基づく再帰的公式を用いてプリコンディショニング行列 $ K(t) $ を更新することで、ヘッセ行列の明示的計算を必要とせずに適応的条件数改善が可能となる。
• 通信コストを最小限に抑えた同期的分散処理を実行する—交換されるのは勾配とプリコンディショニング更新のみである。
• 理論的分析により、解が一意である場合に超線形収束を達成することが示され、一般の場合にはGD、NAG、HBM、APCと比較して改善された線形収束レートを示す。

実験結果

リサーチクエスチョン

• RQ1 反復的プリコンディショニングは、分散最小二乗問題における高条件数データが勾配降下法の収束に与える悪影響を軽減できるか？
• RQ2 提案手法は、理想的な環境およびノイズあり環境下で、従来の加速勾配法よりも高速に収束するか？
• RQ3 グローバルなヘッセ行列情報が不要な状況下でも、分散環境でプリコンディショニング機構を反復的に更新できるか？
• RQ4 最小二乗問題に解が一意である場合とそうでない場合の両方において、提案アルゴリズムの収束特性はどのように変化するか？
• RQ5 システムノイズが存在する場合、特にBFGSや他の準ニュートン法と比較して、アルゴリズムの性能はどの程度向上するか？

主な発見

• 最小二乗問題に解が一意である場合、提案手法は超線形収束を達成し、標準的勾配降下法や加速手法を著しく上回る。
• 一般ケースにおいても、勾配降下法（GD）、ネステロフの加速勾配（NAG）、ヘビーモール法（HBM）、加速プロジェクションコンセンサス（APC）と比較して、より高速な線形収束レートを示す。
• 実世界のデータセット「ash608」と「gr_30_30」において、提案手法の漸近的推定誤差はゼロであるのに対し、GD、NAG、HBM、APCは非ゼロの誤差を示す。
• ノイズあり環境下でも、誤差は有界に保たれ、BFGSはヘッセ行列近似の特異性に起因し、360反復目以降に誤差が無限に発散するのに対し、提案手法は優れた性能を維持する。
• 提案手法の収束速度はシステムノイズに対してロバストであり、テストした全データセットにおいて、GD、NAG、HBM、APC、BFGSと比較して漸近的誤差ノルムが著しく低い。
• 実験結果により、提案手法は、特に悪条件およびノイズあり環境下で、最先端手法よりも速くかつ信頼性の高い収束を達成することが確認された。