[論文レビュー] Two-stage architectural fine-tuning with neural architecture search using early-stopping in image classification

Y. K. Kim, Won Joon Yun+3 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、画像分類のためのニューラルアーキテクチャ探索（NAS）と転移学習を組み合わせた二段階のアーキテクチャ微調整手法を提案する。変異ベースの探索空間定義と早期停止を用いることで、計算コストと探索コストを低減する。提案手法は、ベースライン手法と比較して計算量を32.4%削減し、探索コストを22.3%低減しながら、ResNet-18およびResNet-50モデルの精度を向上させる。

ABSTRACT

In many deep neural network (DNN) applications, the difficulty of gathering high-quality data in the industry field hinders the practical use of DNN. Thus, the concept of transfer learning has emerged, which leverages the pretrained knowledge of DNNs trained on large-scale datasets. Therefore, this paper suggests two-stage architectural fine-tuning, inspired by neural architecture search (NAS). One of main ideas is mutation, which reduces the search cost using given architectural information. Moreover, early-stopping is considered which cuts NAS costs by terminating the search process in advance. Experimental results verify our proposed method reduces 32.4% computational and 22.3% searching costs.

研究の動機と目的

• 画像分類のための転移学習を強化することで、産業的ディープラーニング応用におけるデータ不足の課題に対処する。
• 実際の展開において神経的アーキテクチャ探索（NAS）に関連する高い計算コストと探索コストを低減する。
• コンパクトで変異駆動の探索空間を用いて、ネットワークアーキテクチャと重みを同時に微調整することでモデル性能を向上させる。
• コントローラーの行動安定性に基づき、報酬収束前にNASを停止する早期停止メカニズムを開発する。
• さまざまな探索範囲設定において、ResNet-18 や ResNet-50 などの異なるバックボーンアーキテクチャに一般化可能であることを実証する。

提案手法

• ベースアーキテクチャ（例：ResNet-18/50）、変異ルール、および設定可能な探索範囲を用いて、アーキテクチャの変動を制限するコンパクトな探索空間を定義する。
• 強化学習（RL）ベースのコントローラーを用いて、探索空間からサブネットワーク（サブネット）をサンプリングする。行動はフィルターサイズ（3×3 または 5×5）などのアーキテクチャ的選択を表す。
• パラメータ共有を用いたスアップネットを導入し、トレーニング中に候補アーキテクチャの効率的評価を可能にする。
• コントローラーの行動分布が安定した時点で、報酬収束に達する前でも探索を停止する早期停止戦略を実装する。
• ソースデータセットからの事前学習済み重みを用いて探索を初期化し、探索範囲が重み再利用の範囲を制御する。
• 一貫性のある比較のため、総報酬を[0,1]に正規化し、テスト精度をRLコントローラーの報酬信号として使用する。

実験結果

リサーチクエスチョン

• RQ1 変異ベースの探索空間定義は、画像分類におけるNASの探索コストを低減しつつ、モデル性能を維持または向上させることができるか？
• RQ2 行動分布の安定性に基づく早期停止は、最終的な精度を劣化させることなく、探索時間と計算コストを顕著に削減するか？
• RQ3 探索範囲がアーキテクチャ微調整プロセスの性能と収束に与える影響は何か？
• RQ4 本手法は、ResNet-18 や ResNet-50 などの異なるバックボーンアーキテクチャにどの程度一般化可能か？
• RQ5 制限された探索空間内で事前学習済み重みを使用した場合、標準的な微調整と比較して最終モデルの精度にどのような影響を与えるか？

主な発見

• 提案手法は、ベースライン微調整手法と比較して、計算コストを32.4%削減し、探索コストを22.3%低減した。
• さまざまな探索範囲におけるモデルの性能順位は、『フル > ラージ > メディアム > スモール』の順序に従っており、広い探索範囲がより優れた結果をもたらすことを示している。
• ResNet-18 では、フル探索範囲を用いた ENASResNet-18 が最終精度85.6%を達成し、バニラ版のResNet-18 よりも4.0%高い性能を示した。
• 早期停止機構は、報酬収束に達する前でも、行動分布の安定化を検出することで探索時間を短縮した。例えば、メディアム範囲のResNet-18では、140回のサブネットサンプリングステップで安定化が確認された。
• 行動分布は報酬収束よりも前に安定化することが確認され、早期停止戦略が効率的かつ効果的であることが裏付けられた。
• ResNet-50 において、フル範囲とラージ範囲の性能はほぼ同一であり、ある閾値を超えると、追加のアーキテクチャ的変動が限界効果をもたらさないことが示唆された。