[論文レビュー] On the Generalization Effects of Linear Transformations in Data Augmentation

Sen Wu, Hongyang R. Zhang+2 more|arXiv (Cornell University)|May 2, 2020

COVID-19 diagnosis using AI被引用数 23

ひとこと要約

本稿は、過パラメータ化された線形回帰における線形データオーグメンテーションの理論的分析を提供しており、ラベル不変変換はデータスパンの拡張によって一般化を向上させることを示している。一方、ラベル混合変換（例：ミックスアップ）は、暗黙の正則化として機能する。著者らは、不確実性の高い変換を優先する探索ベースのオーグメンテーション方式を提案し、CIFAR-100でランダムサンプリングより+1.24%の精度向上を達成し、複数のベンチマークでも競争力ある結果を得た。

ABSTRACT

Data augmentation is a powerful technique to improve performance in applications such as image and text classification tasks. Yet, there is little rigorous understanding of why and how various augmentations work. In this work, we consider a family of linear transformations and study their effects on the ridge estimator in an over-parametrized linear regression setting. First, we show that transformations that preserve the labels of the data can improve estimation by enlarging the span of the training data. Second, we show that transformations that mix data can improve estimation by playing a regularization effect. Finally, we validate our theoretical insights on MNIST. Based on the insights, we propose an augmentation scheme that searches over the space of transformations by how uncertain the model is about the transformed data. We validate our proposed scheme on image and text datasets. For example, our method outperforms random sampling methods by 1.24% on CIFAR-100 using Wide-ResNet-28-10. Furthermore, we achieve comparable accuracy to the SoTA Adversarial AutoAugment on CIFAR-10, CIFAR-100, SVHN, and ImageNet datasets.

研究の動機と目的

• 過パラメータ化された線形モデルにおけるデータオーグメンテーションの理論的メカニズムを理解すること。
• 特にラベル不変およびラベル混合変換が推定誤差と一般化に与える影響を分析すること。
• モデルの不確実性と理論的知見に基づいた効率的な変換探索戦略を開発すること。
• 画像およびテキストデータセットにおける理論的知見の実証的検証を行い、ランダムサンプリングおよびSOTA手法を上回る性能を達成すること。

提案手法

• p > n の過パラメータ化線形回帰におけるリッジ推定子の理論的分析を行い、射影作用素 $ P_X^\bot $ を用いて変換から得られる新規情報の量を定量化する。
• 推定誤差の境界を導出：ラベル不変変換に対しては $ \frac{(\beta^\top P_X^\perp Fx)^2}{n} $、ミックスアップに対しては $ \frac{\|X\beta\|^2}{n^2} $ を示し、正則化効果を明らかにする。
• モデルの不確実性に基づいて変換を選択する変換探索手法を提案し、訓練中に高パフォーマンスの変換の頻度を低減する。
• 画像（CIFAR-10、CIFAR-100、SVHN、ImageNet）およびテキストデータセットにこの手法を適用し、Wide-ResNet-28-10およびMLPモデルを用いた。
• モデルの頑健性と一般化性能を評価するために、内因的誤差スコアと不安定性スコアを用い、同じクラス間および異なるクラス間の混合を比較した。
• 交差エントロピー損失におけるマージン分布を分析し、ミックスアップが高マージン誤分類を是正する理由を説明した。

実験結果

リサーチクエスチョン

• RQ1 ラベル不変な線形変換は、過パラメータ化された線形モデルにおける推定誤差にどのように影響するか？
• RQ2 リッジ回帰の文脈において、ラベル混合変換（例：ミックスアップ）の正則化効果は何か？
• RQ3 線形モデルからの理論的知見を、深層学習におけるデータオーグメンテーション探索の効率化に応用できるか？
• RQ4 なぜミックスアップは一般化を向上させるのか？また、分類モデルにおけるマージン分布にどのように影響を与えるか？
• RQ5 同じクラス間と異なるクラス間の画像を混合すると、一般化の恩恵に差が出るか？

主な発見

• 回転や反転などのラベル不変変換は、データスパンの拡張により推定誤差を低減し、誤差低減量は $ \frac{(\beta^\top P_X^\perp Fx)^2}{n} $ に比例する。
• ミックスアップなどのラベル混合変換は、正則化効果により推定誤差を低減し、新しいデータスパンが追加されない場合でも、誤差低減量は $ \frac{\|X\beta\|^2}{n^2} $ に比例する。
• Wide-ResNet-28-10を用いたCIFAR-100では、提案手法がランダムサンプリングより1.24%の精度向上を達成した。
• CIFAR-10、CIFAR-100、SVHN、ImageNetにおいて、Adversarial AutoAugmentと同等の精度を達成した。
• MNISTでは、異なるクラス間のミックスアップにより内因的誤差スコアが低下したが、同じクラス間の混合では低下しなかったことから、ラベル混合が正則化に寄与することが確認された。
• ミックスアップは、ベースラインモデルで高マージンで誤分類された画像を是正し、小マージンの正しく分類された画像のマージンを拡大する。