[論文レビュー] A Distributed Second-Order Algorithm You Can Trust

Celestine Dünner, Aurélien Lucchi+4 more|arXiv (Cornell University)|Jun 20, 2018

Cryptography and Data Security被引用数 12

ひとこと要約

本稿では、各ワーカーで計算する局所的ヘッセ行列のブロックのみを用い、全ヘッセ行列の通信を回避することで、通信コストを低減する分散2次最適化手法ADNを提案する。ブロック対角ヘッセ行列近似と適応的信頼領域戦略を組み合わせることで、凸および$L_1$-正則化問題においてグローバル収束を達成し、大規模なロジスティック回帰タスクにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Due to the rapid growth of data and computational resources, distributed optimization has become an active research area in recent years. While first-order methods seem to dominate the field, second-order methods are nevertheless attractive as they potentially require fewer communication rounds to converge. However, there are significant drawbacks that impede their wide adoption, such as the computation and the communication of a large Hessian matrix. In this paper we present a new algorithm for distributed training of generalized linear models that only requires the computation of diagonal blocks of the Hessian matrix on the individual workers. To deal with this approximate information we propose an adaptive approach that - akin to trust-region methods - dynamically adapts the auxiliary model to compensate for modeling errors. We provide theoretical rates of convergence for a wide class of problems including L1-regularized objectives. We also demonstrate that our approach achieves state-of-the-art results on multiple large benchmark datasets.

研究の動機と目的

• 全ヘッセ行列の計算と通信を回避することで、分散2次最適化手法の高い通信コストを低減すること。
• 強凸でない設定、特に$L_1$-正則化目的関数を含む分散2次最適化において、グローバル収束保証を可能にすること。
• 分散学習における1次最適化手法や既存の2次最適化手法と比較して、通信効率と収束速度を向上させること。
• 固定ステップサイズや高価なラインサーチに依存せず、局所モデルの品質に適応する実用的でパラメータフリーのアルゴリズムを開発すること。

提案手法

• 各ワーカーが自身の局所的ヘッセ行列ブロックのみを計算するブロック分離型補助モデルと、ブロック対角ヘッセ行列近似を用いる。
• 局所2次近似の適合度に基づいて動的に補助モデルを調整する適応的信頼領域アプローチを採用する。
• 各ワーカーは任意のソルバーを用いて局所的サブプロブレムを解き、マスターノードに最小限の更新情報のみを通信する。
• マスターノードは更新情報を集約し、グローバルモデルに適用することで、適応的モデル調整を通じてグローバル収束を保証する。
• 通信効率的かつスケーラブルな設計であり、凸および$L_1$-正則化問題に対して理論的収束保証を有する。
• 高価なヘッセ行列の計算と通信を回避しつつ、パラメータフリー動作をサポートする効率的な実装を実現する。

実験結果

リサーチクエスチョン

• RQ1 全ヘッセ行列の通信を回避することで、強凸でない、$L_1$-正則化問題に対しても分散2次最適化がグローバル収束を達成できるか？
• RQ2 通信を最小限に抑えた分散環境において、局所的2次情報はどのように効果的に活用できるか？
• RQ3 固定ステップサイズやラインサーチ手法と比較して、適応的信頼領域戦略は収束速度と安定性において優れるか？
• RQ4 既存の近似ニュートン法と比較して、局所的ヘッセ行列ブロックのみを用いることで、大規模学習タスクにおいてより速い収束が達成できるか？

主な発見

• ADNは、$L_2$-および$L_1$-正則化ロジスティック回帰の複数の大規模ベンチマークデータセットにおいて、最先端の性能を達成した。
• $L_1$-正則化問題において、ロジスティック損失の悪い二次近似を用いるCoCoAと比較して、ADNは顕著に優れた性能を示した。
• ADNの適応的戦略により、モデル誤差に対するタイトな実用的バインドが不明な場合でも収束が可能となった。
• $L_2$-正則化問題において、ADNはCoCoAおよびLSよりも高速に収束し、特に高精度水準で顕著な優位性を示した。
• ラインサーチに依存せず安定した性能を示した。これに対してLSは、強凸でない目的関数では不安定になることがある。
• ADNは、$L_1$-正則化目的関数を含む広範な凸問題クラスに対してグローバル収束保証を提供した。これは、先行する分散2次最適化手法ではカバーされていなかった分野である。