[論文レビュー] Improving Auto-Augment via Augmentation-Wise Weight Sharing

Keyu Tian, Lin Chen+4 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、訓練中に異なるオーグメンテーション間でモデル重みを共有することにより、計算コストを低減する高速かつ高精度なプロキシ評価手法であるAugmentation-Wise Weight Sharing (AWS)を提案する。オーグメント済み訓練のダイナミクスを活用することで、AWSは効率的かつ信頼性の高いポリシー探索を可能にし、最先端の性能を達成した：ResNet-50を用いたCIFAR-10ではトップ-1誤差1.24%、ImageNetでは20.36%を達成し、ベースライン比で3.34%の絶対的改善を示した。

ABSTRACT

The recent progress on automatically searching augmentation policies has boosted the performance substantially for various tasks. A key component of automatic augmentation search is the evaluation process for a particular augmentation policy, which is utilized to return reward and usually runs thousands of times. A plain evaluation process, which includes full model training and validation, would be time-consuming. To achieve efficiency, many choose to sacrifice evaluation reliability for speed. In this paper, we dive into the dynamics of augmented training of the model. This inspires us to design a powerful and efficient proxy task based on the Augmentation-Wise Weight Sharing (AWS) to form a fast yet accurate evaluation process in an elegant way. Comprehensive analysis verifies the superiority of this approach in terms of effectiveness and efficiency. The augmentation policies found by our method achieve superior accuracies compared with existing auto-augmentation search methods. On CIFAR-10, we achieve a top-1 error rate of 1.24%, which is currently the best performing single model without extra training data. On ImageNet, we get a top-1 error rate of 20.36% for ResNet-50, which leads to 3.34% absolute error rate reduction over the baseline augmentation.

研究の動機と目的

• 各ポリシーの完全なモデル訓練を要する標準的な評価プロセスの非効率性と信頼性の欠如を是正すること。
• 評価精度を損なわずに、オーグメンテーションポリシーの評価速度を向上させること。
• 多様なオーグメンテーション下でのモデルのダイナミクスを捉えるプロキシ評価手法を開発すること。
• CIFAR-10 や ImageNet といった標準ベンチマークで、単一のモデルを用いて最先端の性能を達成すること。

提案手法

• 訓練中に異なるオーグメンテーション間でモデル重みを共有する、Augmentation-Wise Weight Sharing (AWS) を導入し、計算コストを削減する。
• AWSに基づくプロキシタスクを用いて、各候補に対する完全再訓練を回避することで、オーグメンテーションポリシーを効率的に評価する。
• 多様なオーグメンテーション下でのモデルの動的挙動を活用し、信頼性があり迅速な評価信号を生成する。
• 強化学習または探索フレームワーク内にAWSに基づくプロキシ評価を適用し、最適なオーグメンテーションポリシーを同定する。
• 複数のオーグメンテーション戦略を同時に評価できるように、オーグメンテーション間で重みを共有する単一のモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 オートオーグメンテーション探索の高速化を図りつつ、高い評価信頼性を維持できるプロキシ評価手法を設計できるか？
• RQ2 オーグメンテーション間での重み共有が、ポリシー探索における評価信号の質にどのように影響するか？
• RQ3 提案されたAWSベースの手法は、既存のオートオーグメンテーション手法と比較して、速度と正確性の両面で優れているか？
• RQ4 AWSは、CIFAR-10 や ImageNet といった標準ベンチマークにおけるモデルの一般化性能と性能をどの程度向上できるか？

主な発見

• 提案されたAWSベースの手法は、追加の訓練データを用いない単一のモデルとして、CIFAR-10でトップ-1誤差1.24%を達成し、現在の最先端の結果である。
• ResNet-50を用いたImageNetでは、トップ-1誤差を20.36%まで低下させ、ベースラインのオーグメンテーション比で3.34%の絶対的改善を達成した。
• AWSを用いた評価プロセスは、完全な訓練に基づく評価よりも顕著に高速であり、数千のポリシーにわたる効率的な探索を可能にした。
• 包括的な分析により、AWSは計算コストを大幅に削減しながらも、高い評価信頼性を維持していることが確認された。