[論文レビュー] Fault Tolerance in Iterative-Convergent Machine Learning

Aurick Qiao, Bryon Aragam+2 more|arXiv (Cornell University)|Oct 17, 2018

Stochastic Gradient Optimization Techniques被引用数 14

ひとこと要約

本論文は、反復収束型機械学習アルゴリズムにおける摂動の反復コストを定量化する一般化されたフレームワークを提案する。これにより、より知的なチェックポイントベースの障害耐性が可能になる。回復時における摂動の大きさを最小化することで、SCARシステムは、多様なモデルやアルゴリズムにおいて、従来手法と比較して再作業を78%〜95%削減する。

ABSTRACT

Machine learning (ML) training algorithms often possess an inherent self-correcting behavior due to their iterative-convergent nature. Recent systems exploit this property to achieve adaptability and efficiency in unreliable computing environments by relaxing the consistency of execution and allowing calculation errors to be self-corrected during training. However, the behavior of such systems are only well understood for specific types of calculation errors, such as those caused by staleness, reduced precision, or asynchronicity, and for specific types of training algorithms, such as stochastic gradient descent. In this paper, we develop a general framework to quantify the effects of calculation errors on iterative-convergent algorithms and use this framework to design new strategies for checkpoint-based fault tolerance. Our framework yields a worst-case upper bound on the iteration cost of arbitrary perturbations to model parameters during training. Our system, SCAR, employs strategies which reduce the iteration cost upper bound due to perturbations incurred when recovering from checkpoints. We show that SCAR can reduce the iteration cost of partial failures by 78% - 95% when compared with traditional checkpoint-based fault tolerance across a variety of ML models and training algorithms.

研究の動機と目的

• 反復収束型ML学習アルゴリズムにおける任意の摂動の影響を定量化する一般化されたフレームワークの開発。
• ハードウェア障害、遅延、低精度計算などによって引き起こされる摂動が収束性と反復コストに与える影響を理解すること。
• 障害発生後の再作業を最小化するために、摂動の大きさを最小化するチェックポイントベースの障害耐性戦略を設計すること。
• SCARを実装および評価し、より効率的な障害耐性を実現するための新しい戦略を適用すること。

提案手法

• フレームワークは、摂動の大きさとアルゴリズムの収束特性に基づき、反復コストの最悪ケース上界を導出する。
• 摂動をモデルパラメータのずれとしてモデル化し、収束仮定を用いて回復に必要な追加反復回数の上限を求める。
• SCARは部分的チェックポイントと優先順位付きチェックポイントを用い、回復時の摂動の大きさを小さくする。
• システムは、チェックポイント決定を最適化するために、収束パラメータを実時間で推定する。
• 理論的分析では、標準的な収束条件（リプシッツ連続性、強い凸性など）を仮定し、上限を導出する。
• SCARは、複数のMLモデル（例：LDA、ロジスティック回帰）および学習アルゴリズム（例：SGD）を対象に評価され、一貫した性能向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 反復収束型MLアルゴリズムにおいて、任意の摂動が引き起こす最悪ケースの反復コストは何か？
• RQ2 チェックポイントベースの障害耐性を再設計することで、摂動の大きさを最小化し、再作業を削減できるか？
• RQ3 摂動に配慮したチェックポイント戦略は、分散学習における部分的障害の反復コストを顕著に低減できるか？
• RQ4 MLアルゴリズムの自己補正挙動は、従来のチェックポイント再起動方式と比較して、より効率的な障害耐性を可能にするか？
• RQ5 摂動影響に関する理論的上限が、ML学習におけるリアルタイムシステム意思決定をどれほど効果的に導けるか？

主な発見

• SCARは、複数のモデルやアルゴリズムにおいて、従来のチェックポイント再起動メカニズムと比較して、部分的障害の反復コストを78%〜95%削減する。
• ClueWeb上でLDAを学習した場合、SCARは従来の回復方法よりも3反復早く同じ尤度値に到達し、約6分の再作業時間を節約した。
• 頻繁なチェックポイントによるわずかなオーバーヘッド（4反復あたり約13秒）があるものの、システム全体としての性能向上が達成された。
• 理論的分析から、標準的な収束仮定のもとで、反復コストが摂動の大きさと最適解からの初期距離の関数によって上界で抑えられることを示した。
• 優先順位付き部分的チェックポイントは、回復時の摂動の大きさを顕著に低減し、直接的に再作業を削減する。
• フレームワークにより、収束パラメータ（例：c と ||x^(0) - x*||）の実時間近似が可能となり、予測的システム意思決定が可能になった。