[論文レビュー] Implicit Semantic Data Augmentation for Deep Networks

Yulin Wang, Xuran Pan+4 more|arXiv (Cornell University)|Sep 26, 2019

Multimodal Machine Learning Applications被引用数 60

ひとこと要約

ISDA は、クラス条件付き意味方向に沿って深い特徴を摺動させることにより暗黙の訓練補強を行い、オンライン共分散推定を用いて堅牢なクロスエントロピー損失を導出し、追加データ生成なしで一般化を改善する。

ABSTRACT

In this paper, we propose a novel implicit semantic data augmentation (ISDA) approach to complement traditional augmentation techniques like flipping, translation or rotation. Our work is motivated by the intriguing property that deep networks are surprisingly good at linearizing features, such that certain directions in the deep feature space correspond to meaningful semantic transformations, e.g., adding sunglasses or changing backgrounds. As a consequence, translating training samples along many semantic directions in the feature space can effectively augment the dataset to improve generalization. To implement this idea effectively and efficiently, we first perform an online estimate of the covariance matrix of deep features for each class, which captures the intra-class semantic variations. Then random vectors are drawn from a zero-mean normal distribution with the estimated covariance to augment the training data in that class. Importantly, instead of augmenting the samples explicitly, we can directly minimize an upper bound of the expected cross-entropy (CE) loss on the augmented training set, leading to a highly efficient algorithm. In fact, we show that the proposed ISDA amounts to minimizing a novel robust CE loss, which adds negligible extra computational cost to a normal training procedure. Although being simple, ISDA consistently improves the generalization performance of popular deep models (ResNets and DenseNets) on a variety of datasets, e.g., CIFAR-10, CIFAR-100 and ImageNet. Code for reproducing our results is available at https://github.com/blackfeather-wang/ISDA-for-Deep-Networks.

研究の動機と目的

• 標準的なデータ拡張を超える意味的変換を動機づけ、画像分類における一般化を向上させる。
• 特徴空間で動作する効率的な暗黙的拡張メカニズムを提案し、明示的な拡張サンプルを生成することなく運用する。
• 既存のアーキテクチャでスケーラブルな最適化を可能にする閉形式の上界損失を開発する。
• ISDA が複数のアーキテクチャに対して CIFAR-10/100 および ImageNet で一貫した性能向上を示すことを実証する。

提案手法

• 訓練中にクラス条件付き特徴共分散をオンラインで推定する。
• 特徴空間で N(0, lambda * Sigma_y) からランダム方向をサンプルし、これらの方向に沿って特徴を概念的に平行移動させる。
• 拡張下での期待クロスエントロピー損失の閉形式上界を導出し、頑健な損失 ar{L}_infty を生成する。
• 明示的に拡張サンプルを生成することなく、SGD で頑健な損失を最適化する。
• ISDA の手順を詳述する Algorithm 1 および補足資料での共分散推定の概要を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴空間の暗黙的意味方向を活用して、明示的なサンプル生成なしに訓練データを有意に拡張できるか。
• RQ2 クラス条件付き共分散は、データセットやアーキテクチャ全体で一般化を改善するクラス内意味変動を捉えるか。
• RQ3 ISDA は Cutout や AutoAugment のような非意味論的拡張とどのように相互作用するか。
• RQ4 ISDA 損失は大規模データセット上で計算オーバーヘッドをほとんど増やさず実装可能か。

主な発見

• ISDA は CIFAR-10/ CIFAR-100 および ImageNet 上で ResNet、DenseNet および関連アーキテクチャに対して一貫した一般化ゲインをもたらす。
• ISDA は Cutout や AutoAugment のような非意味論的拡張と組み合わせた場合に顕著な改善を提供する。
• 方法は頑健な損失として実装可能で追加計算がほとんどなく、lambda がゼロに近づくと標準のクロスエントロピーに還元される。
• ISDA は報告された実験で最先端の頑健損失や GAN ベースの意味拡張法を上回ることが多い。
• アブレーション研究は、クラス条件付き共分散を全体で用いること（同一性/対角成分や単一のグローバル共分散と比較して）が効果にとって重要であることを示す。