[論文レビュー] Data Interpolating Prediction: Alternative Interpretation of Mixup

Takuya Shimada, Shoichiro Yamaguchi+2 more|arXiv (Cornell University)|Jun 20, 2019

Machine Learning and Data Classification参考文献 15被引用数 8

ひとこと要約

本稿では、分類器の仮説空間内にサンプル混合を埋め込むことで、訓練と推論の両方のサンプルを一様に扱う、新たなフレームワークであるData Interpolating Prediction（DIP）を提案する。ランダムな混合に対して期待値を計算することにより、一般化誤差を低減し、CIFAR-10およびCIFAR-100で標準的なMixupを上回る性能を発揮する。VGG16、α=2、S=4の設定下で、DIPは5.52%のテスト誤差を達成したのに対し、Mixupは5.81%であった。

ABSTRACT

Data augmentation by mixing samples, such as Mixup, has widely been used typically for classification tasks. However, this strategy is not always effective due to the gap between augmented samples for training and original samples for testing. This gap may prevent a classifier from learning the optimal decision boundary and increase the generalization error. To overcome this problem, we propose an alternative framework called Data Interpolating Prediction (DIP). Unlike common data augmentations, we encapsulate the sample-mixing process in the hypothesis class of a classifier so that train and test samples are treated equally. We derive the generalization bound and show that DIP helps to reduce the original Rademacher complexity. Also, we empirically demonstrate that DIP can outperform existing Mixup.

研究の動機と目的

• Mixupにおける、拡張された訓練サンプルと実際のテストサンプルの分布の不一致によって生じる一般化ギャップを是正すること。
• 混合されたサンプルを等しく扱うことで、訓練と推論を統一し、偏った意思決定境界を回避すること。
• ラデマッハ複雑度の低減を通じて、サンプル混合の有効性を理論的に正当化すること。
• DIPが画像分類タスクにおいて一般化性能を向上させ、標準的なMixupを上回ることを実証的に検証すること。

提案手法

• DIPは、分類器を入力サンプルと混合係数のランダムな混合におけるベースモデルの期待値として定義する：f(x) = E[ h(λx + (1−λ)x') ] ここでλ ~ p(λ)、x' ~ 経験的分布。
• 本手法は、訓練時および推論時においてモンテカルロサンプリングを用いて期待値を近似し、混合サンプルの取り扱いを一貫性を持たせる。
• ラデマッハ複雑度を用いて一般化バウンドを導出し、サンプル混合が仮説クラスの複雑度を低減することを示す。
• バウンドはCλ = E[λ² + (1−λ)²]に依存し、λ ~ Beta(α+1, α)のとき、αが大きくなるほど減少するため、より高いαで一般化性能が向上することが示唆される。
• 最適化の観点から、経験的損失はS個のモンテカルロサンプルを用いて上界で抑えられ、モデルはこの上界を最小化するように学習される。
• 2種類の訓練モードを評価：ラベル保持型（α+1, α）とラベル混合型（α, α）で、推論は常にラベル保持型の混合を用いる。

実験結果

リサーチクエスチョン

• RQ1 分類器の仮説空間内にサンプル混合を封入することで、データ拡張に起因する一般化ギャップを低減できるか？
• RQ2 提案されたDIPフレームワークは、テスト精度および一般化安定性の観点で、標準的なMixupを上回るか？
• RQ3 混合係数の分布の選択（例：Beta(α+1, α)）が一般化性能に与える影響は何か？
• RQ4 モンテカルロサンプル数（S）がDIPの一般化および最適化に果たす役割は何か？
• RQ5 ラデマッハ複雑度を用いて、DIPにおけるサンプル混合の利点を理論的に正当化できるか？

主な発見

• VGG16、α=2、S=4の設定下で、CIFAR-10においてDIPは5.52%のテスト誤差を達成した。これは、同じ条件下でMixupの5.81%を上回る性能である。
• PreActResNet18では、DIPは4.40%の誤差（α=2、S=4）を達成した。これに対してMixupは4.46%であった。これは一貫した改善を示している。
• αを大きくするにつれて一般化ギャップが減少し、理論的バウンドがラデマッハ複雑度の低減を示唆する結果と整合的である。
• モンテカルロサンプル数（S）を1より大きくすると、一般化ギャップが増加する傾向にあり、これは高い分散が正則化効果を発揮している可能性を示唆している。
• ラベル混合型の訓練により、ラベル保持型の訓練よりも高い性能が得られ、訓練時にラベルを混合することがより効果的であることが示された。
• 理論的分析により、サンプル混合が経験的ラデマッハ複雑度を低減することを確認し、一般化性能の向上に裏付けを与えた。