[論文レビュー] Does Data Augmentation Lead to Positive Margin?

Shashank Rajput, Zhili Feng+3 more|arXiv (Cornell University)|May 8, 2019

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿は、データ拡張（DA）が経験的リスクミニマイザーにおいて正のマージンを証明可能に強制できるかを調査し、線形および特定の非線形モデルにおいて、非ゼロのマージンを達成するには指数的多数の拡張されたサンプルが必要であることを示している。主な結果は、一般的に用いられるDA技術は、指数的多数の点を追加するまで顕著なマージンをもたらさない可能性があり、その結果、ロバストネス保証における根本的な制限が浮き彫りになる。

ABSTRACT

Data augmentation (DA) is commonly used during model training, as it significantly improves test error and model robustness. DA artificially expands the training set by applying random noise, rotations, crops, or even adversarial perturbations to the input data. Although DA is widely used, its capacity to provably improve robustness is not fully understood. In this work, we analyze the robustness that DA begets by quantifying the margin that DA enforces on empirical risk minimizers. We first focus on linear separators, and then a class of nonlinear models whose labeling is constant within small convex hulls of data points. We present lower bounds on the number of augmented data points required for non-zero margin, and show that commonly used DA techniques may only introduce significant margin after adding exponentially many points to the data set.

研究の動機と目的

• データ拡張（DA）が経験的リスクミニマイザーにおいて正のマージンを証明可能に強制できるかを理解すること。
• マージン最大化を通じて分類器のロバストネスを向上させるDAの理論的限界を分析すること。
• 線形および非線形モデルにおいて非ゼロのマージンを達成するために必要な拡張データ点の数の下界を導出すること。
• 特に高次元空間において、DAが大きなマージンを持つ分類器をもたらす条件を調査すること。
• ランダムノイズや敵対的摂動などの標準的なDA技術が、マージン強制を通じてロバストネスを達成する効果的かどうかを評価すること。

提案手法

• 拡張データセット上で0/1損失を用いた経験的リスクミニマイゼーション（ERM）を用いて問題を形式化する。
• マージンを、与えられたpノルム下での訓練点から決定境界までの最小距離として定義する。
• 線形分類器および、データポイントの小さな凸包内で予測が定数となる非線形モデルのクラスを分析する。
• d次元空間において正のマージンを保証するために必要な拡張データ点の数の下界を導出する。
• 単位球面上のランダムベクトルと凸包を用いた確率的幾何的議論を適用し、マージンをバウンドする。
• 高次元確率の結果（例：Klartag & Kozma, 2009; Alonso-Gutierrez, 2008）を用いて、高確率でマージンが √(log(N/d)/d) × r のオーダーでバウンドされることを示す。

実験結果

リサーチクエスチョン

• RQ1 データ拡張は、経験的リスクミニマイザーにおいて非ゼロのマージンを証明可能に強制できるか？
• RQ2 線形および非線形モデルにおいて正のマージンを保証するために必要な最小の拡張データ点の数は何か？
• RQ3 入力空間の次元が、データ拡張によるマージン達成のサンプル複雑性にどのように影響するか？
• RQ4 ランダムノイズや敵対的摂動などの一般的に用いられるデータ拡張技術は、十分にマージンを向上させるか？
• RQ5 どのような条件下でデータ拡張が大きなマージンを持つ分類器をもたらし、どのような場合に失敗するか？

主な発見

• d次元空間における線形分離可能なデータに対しては、任意のデータ拡張戦略でも正のマージンを保証するために少なくとも d+1 個の拡張データ点が必要である。
• 一般的に用いられるデータ拡張技術は、入力次元に対して指数的多数の点を追加するまで、顕著なマージンを強制できない可能性がある。
• 拡張データで訓練された分類器のマージンは、高確率で √(C₁ log(2N/d)/d) × r でバウンドされる。ここで N は拡張点の数、r は摂動半径である。
• 摂動半径 r が小さく、データが十分に分離されている場合、達成可能な最大マージンは正例クラスと負例クラス間の距離の半分でバウンドされる。
• ε < d(X₊,X₋)/2 のとき、ε尊重クラス内にマージンが正確に d(X₊,X₋)/2 である分類器が存在し、理論的上界がタイトであることが示される。
• 導出された式でマージンがバウンドされる確率は 1−2exp(−C₂d log(N/d)) 以上であるため、N/d が大きい場合には高い信頼性が保証される。