[論文レビュー] Joint Search of Data Augmentation Policies and Network Architectures

Taiga Kashima, Yoshihiro Yamada+1 more|arXiv (Cornell University)|Dec 17, 2020

Data Quality and Management参考文献 24被引用数 7

ひとこと要約

本稿では、Faster Auto-AugmentationとDARTSを用いて、データ拡張方針とニューラルネットワークアーキテクチャを同時に最適化する微分可能でエンドツーエンドの手法を提案する。パイプライン全体を微分可能にすることで、同時に最適化が可能となり、CIFAR-10、CIFAR-100、SVHNにおいて、独立した探索ベースラインと比較して同等または優れた精度を達成した。

ABSTRACT

The common pipeline of training deep neural networks consists of several building blocks such as data augmentation and network architecture selection. AutoML is a research field that aims at automatically designing those parts, but most methods explore each part independently because it is more challenging to simultaneously search all the parts. In this paper, we propose a joint optimization method for data augmentation policies and network architectures to bring more automation to the design of training pipeline. The core idea of our approach is to make the whole part differentiable. The proposed method combines differentiable methods for augmentation policy search and network architecture search to jointly optimize them in the end-to-end manner. The experimental results show our method achieves competitive or superior performance to the independently searched results.

研究の動機と目的

• 手動でデータ拡張方針とネットワークアーキテクチャを設計するという課題に対処すること。これは時間のかかる作業であり、専門知識を要する。
• 拡張方針とアーキテクチャを別々に最適化する従来のAutoML手法の限界を克服すること。
• 微分可能探索を用いて、両方のコンポonentをエンドツーエンドで同時に最適化すること。
• 同じトレーニングプロセス内で拡張とアーキテクチャを同時に最適化することで、パイプライン設計における人為的専門知識の依存度を低減すること。

提案手法

• 本手法は、微分可能なデータ拡張方針探索のためのFaster Auto-Augmentationと、微分可能なニューラルアーキテクチャ探索のためのDARTSを組み合わせる。
• まず微分可能なデータ変換を適用し、その出力を微分可能なNASモジュールの入力として使用する。
• パイプライン全体を完全に微分可能にすることで、NAS損失の勾配が拡張方針のパラメータを介して逆伝播可能となる。
• 探索空間には10個のサブポリシーが含まれ、それぞれが16種類の操作（幾何変換および色変換を含む）から2つの操作を含む。
• 勾配ベース最適化を用いて、ポリシー確率とアーキテクチャ操作を同時に最適化する。
• アーキテクチャに特化した事前選択を回避するため、同じモデル上で両コンポーネントを同時にトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 データ拡張方針とニューラルアーキテクチャの共同最適化は、独立した探索よりも優れた性能をもたらすか？
• RQ2 エンドツーエンドの微分可能性は、逐次的または別々の最適化よりも、拡張とアーキテクチャの共同最適化をより効果的に可能にするか？
• RQ3 アーキテクチャ探索中に最適な拡張方針はどのように変化するか？共同学習はこの動的依存関係を捉えられるか？
• RQ4 アーキテクチャの事前選択を排除することで、本手法はAutoMLパイプライン設計における人為的介入を削減できるか？
• RQ5 共同最適化は、異なるアーキテクチャに対してよりロバストで一般化可能な方針をもたらすか？

主な発見

• 本手法は、50回の探索エポックでCIFAR-10で97.40% ± 0.03の精度を達成し、同じ設定でのベースライン（97.55% ± 0.30）を上回った。
• CIFAR-100では、50回の探索エポックで79.02% ± 2.14の精度を達成し、ベースライン（77.96% ± 3.12）を上回った。
• 25回の探索エポックでは、CIFAR-10で97.46% ± 0.09の精度を達成し、ベースライン（97.29% ± 0.03）をわずかに下回ったが、依然として競争力のある結果を示した。
• SVHNでは、50回の探索エポックで97.92% ± 0.12の精度を達成し、ベースライン（98.02% ± 0.03）をわずかに下回ったが、標準偏差の範囲内にあった。
• 学習された拡張方針は、特に45エポック以降、幾何変換（例：回転）よりも色の強調操作（例：色、オートコントラスト）を好む傾向を示した。これは、アーキテクチャの変化に応じたポリシーの適応を示している。
• 本手法は、最適な拡張方針がアーキテクチャに依存することを示した。トレーニング中にポリシー分布とアーキテクチャ分布が同時に変化したためである。