[論文レビュー] A Data-Augmentation Is Worth A Thousand Samples: Exact Quantification From Analytical Augmented Sample Moments

Randall Balestriero, Ishan Misra+1 more|arXiv (Cornell University)|Feb 16, 2022

Image and Video Quality Assessment被引用数 5

ひとこと要約

本稿は、データ拡張（DA）の影響を定量化するための新しい解析フレームワークを導入し、増幅されたサンプル、損失、モデル出力の期待値および分散の正確な閉形式式を導出する。この研究では、DAがデータ多様体構造に整合する一般化されたチホノフ正則化を誘発すること、正確な情報推定のためには1つの元のサンプルあたり約10,000個の増幅サンプルが必要であること、およびTangentPropがDAサンプリング下での損失分散を最小化する最適な正則化子として自然に導かれることが明らかになった。

ABSTRACT

Data-Augmentation (DA) is known to improve performance across tasks and datasets. We propose a method to theoretically analyze the effect of DA and study questions such as: how many augmented samples are needed to correctly estimate the information encoded by that DA? How does the augmentation policy impact the final parameters of a model? We derive several quantities in close-form, such as the expectation and variance of an image, loss, and model's output under a given DA distribution. Those derivations open new avenues to quantify the benefits and limitations of DA. For example, we show that common DAs require tens of thousands of samples for the loss at hand to be correctly estimated and for the model training to converge. We show that for a training loss to be stable under DA sampling, the model's saliency map (gradient of the loss with respect to the model's input) must align with the smallest eigenvector of the sample variance under the considered DA augmentation, hinting at a possible explanation on why models tend to shift their focus from edges to textures.

研究の動機と目的

• データ拡張（DA）がモデルの一般化および学習ダイナミクスに与える影響を理論的に分析すること。
• DAによって誘発される情報の正確な推定に必要な増幅サンプルの数を定量化すること。
• DAサンプリング下でのモデル損失および出力の感度（分散）を導出すること。
• DAによって誘発される明示的な正則化子とそのモデル最適化との関係を同定すること。
• なぜTangentPropがDAの文脈で有効な正則化子として現れるのかを説明し、第一原理から導出可能かどうかを検討すること。

提案手法

• 画像変換をフラット化された画像上の線形演算としてモデル化するための行列・ベクトル形式のデータ・スペース変換（DST）を導入する。
• 与えられたDAポリシー下で、変換された画像、損失、モデル出力の一次モーメント（期待値および分散）の解析的表現を導出する。
• 二階テイラー展開（デルタ法）を用いて、DAサンプリング下での期待損失を近似し、その分散を導出する。
• 増幅サンプルの共分散行列の固有値分解とモデルのヤコビ行列を用いて、損失感度を特徴付ける。
• 損失分散が、モデルのヤコビ行列の核空間と、増幅サンプル共分散行列の主成分（最大固有ベクトル）との整合性に依存することを示す。
• 損失近似から第一原理に基づいて導出された自然な正則化子としてのTangentPropを再構築する。

実験結果

リサーチクエスチョン

• RQ1 与えられたデータ拡張ポリシーが符号化する情報の正確な推定を行うために、どの程度の増幅サンプルが必要か。
• RQ2 データ拡張ポリシーの選択が、最終的なパラメータおよびディープラーニングモデルの一般化にどのように影響を与えるか。
• RQ3 確率的増幅データサンプリング下でのモデル損失の感度（分散）は何か、そして学習過程でどのように変化するか。
• RQ4 与えられたデータ拡張戦略によって誘発される明示的な正則化子は何か、そしてデータ多様体構造とどのように関係するか。
• RQ5 なぜTangentPropがデータ拡張の文脈で有効な正則化子として現れるのか、そして第一原理から導出可能か。

主な発見

• 1つの元のサンプルから得られる情報の正確な推定を行うために必要な増幅サンプル数は、約10,000個のオーダーである。
• 何千ものトレーニングサンプルを拡張しても、DAポリシーが正しく学習されるためには、全データセットを少なくとも50回以上拡張する必要がある。
• DAによって誘発される明示的な正則化子は、サンプル共分散行列の最大固有ベクトルと整合するようにモデルの重み行列の核空間を整列させる一般化されたチホノフ正則化に対応する。
• 損失分散は、モデルのヤコビ行列の核空間が、増幅サンプル共分散行列の主成分（最大固有ベクトル）と一致する場合に最小化される。
• TangentProp正則化は、期待損失の二階テイラー近似から導出されたDA下での損失分散最小化の最適戦略として自然に現れる。
• 損失分散が損失最小化のみで減少するためには、モデルのヤコビアンがフルランク（ResNetアーキテクチャのように）でなければならない。なぜなら、正則化によるさらなる低減は不可能であるからである。