[論文レビュー] BulletTrain: Accelerating Robust Neural Network Training via Boundary Example Mining

Weizhe Hua, Yichi Zhang+3 more|arXiv (Cornell University)|Sep 29, 2021

Adversarial Robustness in Machine Learning参考文献 22被引用数 6

ひとこと要約

BulletTrain は、マージンに基づく重要度スコアリングを用いて、意思決定境界に最も近い境界例（boundary examples）を動的に特定し、計算リソースを集中することで、ロバストなニューラルネットワーク学習を高速化する。CIFAR-10、CIFAR-10-C、CIFAR-100-C ベンチマークで、Clean およびロバストな精度を損なわずに、TRADES、MART、AugMix において 1.7× から 2.2× の高速化を達成する。

ABSTRACT

Neural network robustness has become a central topic in machine learning in recent years. Most training algorithms that improve the model's robustness to adversarial and common corruptions also introduce a large computational overhead, requiring as many as ten times the number of forward and backward passes in order to converge. To combat this inefficiency, we propose BulletTrain $-$ a boundary example mining technique to drastically reduce the computational cost of robust training. Our key observation is that only a small fraction of examples are beneficial for improving robustness. BulletTrain dynamically predicts these important examples and optimizes robust training algorithms to focus on the important examples. We apply our technique to several existing robust training algorithms and achieve a 2.1$ imes$ speed-up for TRADES and MART on CIFAR-10 and a 1.7$ imes$ speed-up for AugMix on CIFAR-10-C and CIFAR-100-C without any reduction in clean and robust accuracy.

研究の動機と目的

• 汚染生成の広範な処理により、学習時間が最大10倍にまで延長されるロバストなニューラルネットワーク学習の高い計算コストに対処すること。
• 既存のロバスト学習手法における全学習例に均等に計算リソースを割り当てる非効率性を克服すること。
• 意思決定境界に近い最も情報価値の高い例（境界例）にのみ計算リソースを集中し、それ以外の例には削減する動的で適応的な手法を開発すること。
• 学習時間を大幅に短縮しながら、モデルのロバスト性および Clean な精度を維持または向上させること。
• 敵対的攻撃および一般的な汚染に対する両方のロバストネス設定へ一般化可能なアプローチを開発すること。

提案手法

• 境界例を、現在の意思決定境界に対して小さなマージンを持つクリーンなサンプルとして定義する。このような例は、汚染拡張により最も利益を受ける可能性が最も高い。
• モデルの現在のログティットと予測の信頼度に基づき、マージンに基づくスコア関数を用いて、各例のロバスト性向上に寄与する重要度を予測する。
• ミニバッチごとに、最も重要な上位-$N_R$ 個の例にのみ、汚染生成（例：敵対的またはデータ拡張）のための計算リソースを動的に割り当てる。
• 選択された例の割合を制御するためのしきい値 $̳$ を導入することで、速度とロバストネスのトレードオフを可能にする。
• データサンプリングおよび損失計算パイプラインを変更することで、TRADES や MART、AugMix などの既存のロバスト学習フレームワークにこの手法を統合する。
• すべての例に対して完全な順方向および逆方向パスを維持するが、予測された重要度に基づき、境界例でない例の汚染生成ステップ数を削減する。

実験結果

リサーチクエスチョン

• RQ1 境界例の小さなサブセットに計算リソースを集中させることで、モデルのロバストネスを損なわず、学習時間を顕著に短縮できるか？
• RQ2 マージンに基づく重要度スコアリングによる境界例の動的選択は、均一またはヒューリスティックなサンプリングと比較して、速度-精度トレードオフにおいてどのように異なるか？
• RQ3 境界例マイニングは、敵対的攻撃と一般的な汚染の両方のロバストネス目的において、学習の高速化にどの程度寄与できるか？
• RQ4 マージンしきい値 $\gamma$ や選択例数 $N_R$ などのハイパーパrameterの変化に対して、この手法の性能はどの程度安定しているか？
• RQ5 この手法は、アーキテクチャの変更なしに、既存の最先端のロバスト学習アルゴリズムへ一般化可能か？

主な発見

• CIFAR-10 において、BulletTrain は TRADES および MART で 2.2× の高速化を達成し、Clean およびロバスト精度に損なわれることなく。
• CIFAR-10-C および CIFAR-100-C において、BulletTrain は AugMix 学習で 1.7× の高速化を達成し、Clean およびロバスト精度を維持する。
• マージンしきい値 $\gamma$ の異なる値に対しても、性能が安定しており、$\gamma \in [0.65, 0.9]$ の範囲でロバスト精度が一貫している。
• $N_R$ の変更に対しても Clean な精度が頑健であり、FAST と同等の理論的および実行時性能を達成しつつ、より高い高速化を実現する。
• 理論的な高速化率が GPU 上での実際の実行時高速化率とよく一致しており、強力な実用的効率性を示している。
• 従来の重要度サンプリング手法とは異なり、BulletTrain は動的選択に最新のモデルスコアを用いるため、古くなった損失推定を回避し、選択の正確性が向上する。