[論文レビュー] Robust Training in High Dimensions via Block Coordinate Geometric Median Descent

Anish Acharya, Abolfazl Hashemi+4 more|arXiv (Cornell University)|Jun 16, 2021

Stochastic Gradient Optimization Techniques参考文献 98被引用数 7

ひとこと要約

本稿では、顕著な汚染下における高次元非凸最適化問題に対して計算的に効率的なロバスト最適化手法であるブロック座標幾何学的中央値降下法（BGmD）を提案する。メモリ機構を用いて選択された座標ブロックに対してのみ幾何学的中央値集約を適用することにより、BGmDは0.5の破壊点を達成し、近似的に最適な収束速度を実現し、標準的な幾何学的中央値SGDよりも最大90%の高速化を達成するロバストな深層学習訓練を可能にする。

ABSTRACT

Geometric median ( extsc{Gm}) is a classical method in statistics for achieving a robust estimation of the uncorrupted data; under gross corruption, it achieves the optimal breakdown point of 0.5. However, its computational complexity makes it infeasible for robustifying stochastic gradient descent (SGD) for high-dimensional optimization problems. In this paper, we show that by applying extsc{Gm} to only a judiciously chosen block of coordinates at a time and using a memory mechanism, one can retain the breakdown point of 0.5 for smooth non-convex problems, with non-asymptotic convergence rates comparable to the SGD with extsc{Gm}.

研究の動機と目的

• 高次元の深層学習環境における幾何学的中央値に基づくロバストSGD（GmD）の計算不能性に対処すること。
• 顕著な汚染下でも最適な破壊点0.5を維持しつつ、計算コストを低減すること。
• 悪意のあるサンプルの事前知識なしに、任意に汚染された勾配に対してロバストであるスケーラブルな一次最適化手法を設計すること。
• 座標選択を用いて低次元部分空間で動作させることで、完全なGmDと同等の収束速度を達成すること。

提案手法

• BGmDは、方向微分のℓ₂ノルムの二乗に基づく重要度を用いて、k ≪ d個の座標ブロックを選択する。
• 幾何学的中央値集約を勾配の選択されたk次元部分ベクトルにのみ適用することで、Gm計算の次元を低減する。
• 過去の勾配推定値を格納するメモリ機構を用いて、選択された座標におけるロバスト性と収束性を向上させる。
• 二段階更新を用いる：まず、幾何学的中央値を用いて選択された座標での部分更新を行い、次に、ロバスト推定値と残りのパラメータを組み合わせた完全なパラメータ更新を行う。
• 理論的分析により、BGmDが同じ仮定（特にPolyak-Łojasiewicz（PL）条件を含む）下で、完全なGmDと同等の収束保証を維持することが示された。
• アルゴリズムは標準的な深層学習フレームワークと互換性があり、最大50%の汚染された勾配に耐性を持つミニバッチ学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 顕著な計算コストを伴わず、高次元最適化に幾何学的中央値集約を効率的に適用できるか？
• RQ2 選択的座標別幾何学的中央値集約は、顕著な汚染下でも最適な破壊点0.5を保持するか？
• RQ3 メモリ拡張付きブロック座標アプローチは、完全な幾何学的中央値SGDと同等の収束速度を達成できるか？
• RQ4 座標選択戦略の選択が、非凸な深層学習環境におけるロバスト性と収束性に与える影響は何か？

主な発見

• BGmDは0.5の破壊点を達成し、顕著な汚染下におけるロバスト推定の理論的最適値と一致する。
• 深層学習モデルの学習において、標準的なGmD比で90%の高速化を達成し、精度の低下は最小限に抑えられる。
• 理論的分析により、PL条件下でBGmDが完全なGmDと同等の非漸近的収束速度を維持することが確認された。
• メモリ機構により、希なまたは汚染された更新でも時間経過に伴い勾配推定値が安定化され、ロバスト性が顕著に向上する。
• 実験的結果により、BGmDは50%の勾配汚染下でも高いテスト精度を維持しており、特にバックドア攻撃や外れ値攻撃の状況でも同様の性能を示す。
• ブロックサイズkの選択にかかわらず収束がロバストであり、k ≪ dの広い範囲で性能が安定している。