[論文レビュー] A Kernel Theory of Modern Data Augmentation

Tri Dao, Albert Gu+4 more|arXiv (Cornell University)|Mar 16, 2018

Neural Networks and Applications参考文献 36被引用数 67

ひとこと要約

データ拡張をマルコフ過程としてモデル化しカーネル構造を誘発することを示し、拡張データは特徴量平均化と分散正則化を通じて理解でき、実用的な方法で訓練を加速できる。

ABSTRACT

Data augmentation, a technique in which a training set is expanded with class-preserving transformations, is ubiquitous in modern machine learning pipelines. In this paper, we seek to establish a theoretical framework for understanding data augmentation. We approach this from two directions: First, we provide a general model of augmentation as a Markov process, and show that kernels appear naturally with respect to this model, even when we do not employ kernel classification. Next, we analyze more directly the effect of augmentation on kernel classifiers, showing that data augmentation can be approximated by first-order feature averaging and second-order variance regularization components. These frameworks both serve to illustrate the ways in which data augmentation affects the downstream learning model, and the resulting analyses provide novel connections between prior work in invariant kernels, tangent propagation, and robust optimization. Finally, we provide several proof-of-concept applications showing that our theory can be useful for accelerating machine learning workflows, such as reducing the amount of computation needed to train using augmented data, and predicting the utility of a transformation prior to training.

研究の動機と目的

• データ拡張を理解するための理論的枠組みを動機付ける。
• 拡張をマルコフ過程としてモデル化し、カーネルとの関連を明らかにする。
• 拡張が特徴量平均化と分散正則化を通じて学習に対する第一次・第二次効果を生み出すことを示す。
• 訓練を高速化し拡張の有用性を診断する実践的応用を実証する。

提案手法

• augmentation行列とリトラクションを用いたマルコフ連鎖拡張モデルを定義する。
• augmentedデータ上の k-NN が拡張によって依存するカーネルとしての分類器近似をもたらすことを示す。
• 拡張目的関数の第一階近似（特徴量平均化）と第二階近似（分散正則化）の分解を導出する。
• MNISTおよびCIFAR-10で近似を経験的に検証し、不変カーネルとロバスト最適化へ接続する。
• kernel target alignmentによる拡張選択や乱乱分 Fourier 特徴による効率的拡張など、実用的なユーティリティを示す。

実験結果

リサーチクエスチョン

• RQ1 データ拡張を学習アルゴリズムへの影響を浮き彫りにするよう mathematically にモデル化するにはどうすればよいか。
• RQ2 拡張から生じるカーネル解釈は何で、下流の分類器とどう関連するか。
• RQ3 拡張の第一階・第二階の効果は不変性と正則化にどう影響するか。
• RQ4 訓練を高速化し、訓練前に拡張の有用性を予測する実践的手法を導出できるか。

主な発見

• 拡張をマルコフ過程としてモデル化すると定常分布が得られ、漸近的にはカーネル分類器の形になる。
• K̄ = T K Tᵀ のように、拡張分布を符号化する T と基底特徴写像 φ があるカーネルを構成できる。
• 第一階近似は拡張が特徴量の平均化として機能し、不変性を高める。
• 第二階近似は出力の拡張形態間の分散を罰する分散正則化項を導入する。
• MNIST/CIFAR-10 の経験的結果は、第二階項が真の拡張目的関数を第一階項のみよりもよく近似することを検証している。
• 実用的なツールには拡張選択のための高速カーネル指標と乱数フーリエ特徴による効率的拡張、さらに深層ネットワークでの中間層平均化による計算削減が含まれる。