[論文レビュー] Robust Coreset Construction for Distributed Machine Learning

Hanlin Lu, Ming-Ju Li+4 more|arXiv (Cornell University)|Apr 11, 2019

Face and Expression Recognition参考文献 41被引用数 4

ひとこと要約

本稿では、分散機械学習における耐障害性のあるコアセット構築アルゴリズムを提案し、k-means、PCA、SVM、ニューラルネットワークを含む多様な教師あり・教師なし学習問題をサポートできる、1つの再利用可能なコアセットを生成する。通信コストを最小限に抑える。重み付きk-means/メディアンクラスタリング中心点を活用し、ノード間でコアセット構築を分散化することで、最小限のデータ転送で複数のモデルに対して証明可能な近似保証を達成。MNIST や HAR を含む実世界のデータセットを用いた広範な実験で検証された。

ABSTRACT

Coreset, which is a summary of the original dataset in the form of a small weighted set in the same sample space, provides a promising approach to enable machine learning over distributed data. Although viewed as a proxy of the original dataset, each coreset is only designed to approximate the cost function of a specific machine learning problem, and thus different coresets are often required to solve different machine learning problems, increasing the communication overhead. We resolve this dilemma by developing robust coreset construction algorithms that can support a variety of machine learning problems. Motivated by empirical evidence that suitably-weighted k-clustering centers provide a robust coreset, we harden the observation by establishing theoretical conditions under which the coreset provides a guaranteed approximation for a broad range of machine learning problems, and developing both centralized and distributed algorithms to generate coresets satisfying the conditions. The robustness of the proposed algorithms is verified through extensive experiments on diverse datasets with respect to both supervised and unsupervised learning problems.

研究の動機と目的

• 各学習タスクごとに問題特化型コアセットを構築することによる分散機械学習における通信コストの高い問題に対処する。
• 教師あり・教師なしの両方のモデルを含む広範な機械学習問題を1つのコアセットでサポートできる統合的コアセット構築フレームワークを開発する。
• k-means、PCA、SVM、深層ニューラルネットワークを含む多様な学習問題において、コアセットの理論的近似保証を確保する。
• 大規模かつ高次元のデータセットにスケーリング可能であり、データプライバシーを保ちながら帯域幅を最小限に抑える集中型および分散型の効率的アルゴリズムを設計する。
• 実世界のエッジコンピューティング環境における、異なるデータ分布、モデルの複雑さ、通信制約に対して、コアセットの耐障害性を検証する。

提案手法

• 重み付きk-meansまたはk-medianクラスタリング中心点を、適切に重み付けされた要約の原動力として使用し、その耐障害性に関する経験的証拠を活用してコアセットを構築する。
• k-means/メディアン中心点から構築されたコアセットが、広範な学習問題クラスに対して有界な相対的近似誤差を保証する ϵ-コアセットを形成する理論的条件を確立する。
• 精度と通信コストのバランスを取るために、ノード間でコアセットサイズとローカル中心点を割り当てる分散コアセット構築アルゴリズム（DRCC）を設計する。
• エッジノードが最小限のデータ転送で協働的にグローバルコアセットを構築できる通信効率の良いコアセット構築プロトコル（CDCC）を導入する。
• リプシッツ連続性の境界を適用して、基本的な問題（例：MEB）からの近似保証をSVM やニューラルネットワークなどのより複雑なモデルへ拡張する。
• モンテカルロ評価を用いて相対的近似誤差の境界を経験的に検証し、データセットやモデルにわたって理論的限界内に保たれていることを確認する。

Figure 1: Application scenario (ML $i$ : machine learning model $i$ ).

実験結果

リサーチクエスチョン

• RQ1 再収集が不要な1つのコアセットを、データ収集を再び行わずに分散環境で複数の機械学習問題をサポートできるか？
• RQ2 k-means/メディアン中心点から構築されたコアセットが、多様な学習問題に対して証明可能な近似を提供するための理論的条件は何か？
• RQ3 異なるデータ分布やモデルタイプにわたる耐障害性を維持するために、分散ノード間でコアセットサイズとローカル中心点の割り当てを最適化する方法は何か？
• RQ4 提案されたコアセットは、完全なデータセットで学習した場合と比較して、深層ニューラルネットワークやSVMのような複雑なモデルにおいて、どの程度の精度を維持するか？
• RQ5 コアセットサイズとローカル中心点の数が、分散コアセット構築におけるモデル性能にどのように影響するか、またどのようなトレードオフが存在するか？

主な発見

• 提案されたコアセット構築は、Fisherのアヤメデータセット（MEB、コアセットサイズ20）で最大相対的近似誤差0.0053を達成し、理論的上限 ε = 0.1073 よりも著しく低い水準に抑えられた。
• MNISTでは、理論的上限 ε = 10.74 に対して相対誤差0.0024を達成し、実際の誤差が最悪ケースの境界よりも顕著に低いことが示された。
• ローカル中心点数（K）を1から2に増加させることで、特にニューラルネットワークにおいてモデル性能が顕著に向上したが、さらに増加させても教師なしモデルでは利得が著しく減少した。
• 分散コアセット構築（DRCC）は、コアセットサイズを拡大した際、ベースライン手法を上回るモデル品質を示し、優れたスケーラビリティと通信効率を示した。
• HARおよびMNISTでは、コアセットを用いた深層ニューラルネットワークの学習が、完全なデータセットで学習した場合の精度の78.01%および87.01%にまで達したが、元の生データのわずかな部分しか転送していなかった。
• すべてのデータセットおよびモデルにおいて、近似誤差の理論的境界が一貫して上界に抑えられ、多様な学習問題にわたるコアセット構築の耐障害性が確認された。

Figure 2: Comparison of coreset construction algorithms (coreset size: 8).