[論文レビュー] Learning data augmentation policies using augmented random search

Mingyang Geng, Kele Xu+3 more|arXiv (Cornell University)|Nov 12, 2018

Advanced Neural Network Applications参考文献 13被引用数 12

ひとこと要約

本稿では、データ拡張方針の探索に離散的探索空間を用いるAutoAugmentに代えて、連続的探索空間を用いるAR-S-Augという手法を提案する。この手法は、拡張されたランダムサーチ（ARS）を用いることで、より効率的かつ正確な方針探索を可能にする。本手法は追加データなしで、CIFAR-10（1.26%の誤差率）、CIFAR-100（10.24%の誤差率）、ImageNet（Top-1正解率83.88%）で最先端の性能を達成した。

ABSTRACT

Previous attempts for data augmentation are designed manually, and the augmentation policies are dataset-specific. Recently, an automatic data augmentation approach, named AutoAugment, is proposed using reinforcement learning. AutoAugment searches for the augmentation polices in the discrete search space, which may lead to a sub-optimal solution. In this paper, we employ the Augmented Random Search method (ARS) to improve the performance of AutoAugment. Our key contribution is to change the discrete search space to continuous space, which will improve the searching performance and maintain the diversities between sub-policies. With the proposed method, state-of-the-art accuracies are achieved on CIFAR-10, CIFAR-100, and ImageNet (without additional data). Our code is available at https://github.com/gmy2013/ARS-Aug.

研究の動機と目的

• AutoAugmentがデータ拡張方針の探索に離散的探索空間を用いることによる性能の劣化を是正すること。
• 離散的探索空間を連続的探索空間に再定式化することで、探索効率と方針の多様性を向上させること。
• 拡張されたランダムサーチ（ARS）の高いサンプル効率を活用し、方針空間のより効果的な探索を実現すること。
• 自動的に学習された拡張方針を用いて、画像分類ベンチマークで最先端の性能を達成すること。
• 連続的最適化が、離散的探索に比べて、より優れた性能で多様性のあるデータ拡張方針を生成できることを示すこと。

提案手法

• 操作、確率、強度の各パラメータを連続空間にパラメータライズすることで、データ拡張方針の探索問題を連続的最適化問題に再定式化する。
• 原始的なARS出力を正規化するため、シグモイド関数を適用し、有効な方針パラメータ（例：確率が0〜1の間）を保証する。
• ARSを用いて現在の方針パラメータの周囲に摂動をサンプリングし、子モデルの訓練による性能を評価した後、優れた方向性を用いて方針を更新する。
• 25個のサブポリシーを、サンプリングされた操作-確率-強度の三つ組を連結することで生成し、多様性と一般化性能を向上させる。
• 連続的探索空間から生成された方針を用いて子モデルを訓練・検証し、検証精度に基づいた報酬を用いる。
• ポリシー構造をAutoAugmentと同一に保つ（1つのサブポリシーに2つの操作）が、強度値に小数点第2位までを用いることで、より高い精度を実現する。

実験結果

リサーチクエスチョン

• RQ1 AutoAugmentにおける離散的探索空間を連続的探索空間に置き換えることで、より優れた性能のデータ拡張方針が得られるか？
• RQ2 拡張されたランダムサーチ（ARS）の高いサンプル効率は、離散的探索に比べて方針空間の探索をより効果的に行えるか？
• RQ3 連続的最適化は、離散的サンプリングに比べて、より多様性があり、効果的なサブポリシーを生成できるか？一般化性能の向上に寄与するか？
• RQ4 ARS-Augは、追加データなしで、CIFAR-10、CIFAR-100、ImageNetといった標準的なビジョンベンチマークで最先端の性能を達成できるか？
• RQ5 連続的探索における強度値の精度（小数点第1位 vs. 小数点第2位）は、方針性能にどのように影響するか？

主な発見

• CIFAR-10では、ARS-Augがテスト誤差率1.26%を達成し、AutoAugmentの1.48%よりも0.22%低い。
• CIFAR-100では、ARS-Augが誤差率を10.24%まで低下させ、AutoAugmentの10.67%を上回った。
• ImageNetでは、ARS-AugがTop-1正解率83.88%を達成した。AmoebaNet-CのTop-1誤差率16.12%、ResNet-200の19.76%を上回った。
• 本手法は、色ベースの変換や回転変換に重点を置いた方針を発見し、ミニバッチごとにサブポリシーの適用に高い多様性を示した。
• 連続的探索空間により、より正確な強度制御（小数点第2位まで）と高い方針の多様性が可能になり、一般化性能の向上に寄与した。
• ARS-Augは高い計算効率を維持しており、複数の乱数シードやハイパーパramータに対して広範な探索が可能だった。