[論文レビュー] UniformAugment: A Search-free Probabilistic Data Augmentation Approach

Tom Ching LingChen, Ava Khonsari+4 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Neural Network Applications参考文献 20被引用数 39

ひとこと要約

UniformAugment は、連続的でほぼ不変空間から補正パラメータを一様にサンプリングすることによって、完全に探索不要なデータ拡張手法を提案し、ポリシー探索なしで従来の探索ベースの拡張手法と競合する結果を達成します。

ABSTRACT

Augmenting training datasets has been shown to improve the learning effectiveness for several computer vision tasks. A good augmentation produces an augmented dataset that adds variability while retaining the statistical properties of the original dataset. Some techniques, such as AutoAugment and Fast AutoAugment, have introduced a search phase to find a set of suitable augmentation policies for a given model and dataset. This comes at the cost of great computational overhead, adding up to several thousand GPU hours. More recently RandAugment was proposed to substantially speedup the search phase by approximating the search space by a couple of hyperparameters, but still incurring non-negligible cost for tuning those. In this paper we show that, under the assumption that the augmentation space is approximately distribution invariant, a uniform sampling over the continuous space of augmentation transformations is sufficient to train highly effective models. Based on that result we propose UniformAugment, an automated data augmentation approach that completely avoids a search phase. In addition to discussing the theoretical underpinning supporting our approach, we also use the standard datasets, as well as established models for image classification, to show that UniformAugment's effectiveness is comparable to the aforementioned methods, while still being highly efficient by virtue of not requiring any search.

研究の動機と目的

• 深層モデルにおける画像分類の主要な正則化としてデータ拡張を動機づける。
• ほぼ不変な補正空間の下で、理論主導の探索不要な拡張戦略を提案する。
• 連続的な拡張パラメータを一様にサンプリングすることが、探索フェーズなしで競争力のある精度を達成できることを示す。
• 共通のアーキテクチャを用いて CIFAR-10、CIFAR-100、ImageNet で UA の有効性を示す。

提案手法

• データ分布上で作用する近似的不変変換の集合として補正を形式化する。
• 拡張ポリシーの離散的な探索を、連続パラメータ空間における一様サンプリングへ置換する。
• 入力ごとに一定数の拡張操作を適用し、各操作は事前定義済みの集合から一様に抽出され、確率と大きさは Uniform(0,1) で抽出する。
• 訓練中にサンプルされた拡張をその場で適用しつつ、標準の SGD を用いて経験的リスクを最小化する。
• 標準ベンチマークで UA を AutoAugment、Fast AutoAugment、Population Based Augmentation、RandAugment と比較する。

実験結果

リサーチクエスチョン

• RQ1 連続的でほぼ不変な補正空間からの一様サンプリングは、探索フェーズなしで競争力の性能を生むか？
• RQ2 拡張レンジ（狭い/デフォルト/広い）と拡張操作の数（NumOps）は UA の有効性にどう影響するか？
• RQ3 共通のアーキテクチャを用いて、CIFAR-10、CIFAR-100、ImageNet の範囲で UA の性能は探索ベースの拡張法と同等またはそれを上回るか？

主な発見

• UA は CIFAR-10、CIFAR-100、ImageNet で探索ベースの手法と同等の精度を達成する一方、探索時間を必要としない。
• 実験は、ほぼ不変な補正空間が連続パラメータの一様サンプリングによって効果的に探索可能であることを示唆している。
• 拡張レンジを変えると、関連研究で用いられるデフォルトレンジが適切な不変空間を生み出すことが示される；レンジが狭すぎるまたは広すぎると性能が低下する。
• NumOps を約 2 にすると多様性と整合的な分布内に拡張を保つ良いバランスを提供する；非常に高い NumOps は性能を悪化させる。
• ImageNet では、UA は基準値と比較して誤差率を低減し、AA、FAA、RA と比較して同等かわずかに改善し、探索オーバーヘッドはない。