[論文レビュー] Core-set Sampling for Efficient Neural Architecture Search

Jae-hun Shim, Kyeongbo Kong+1 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Neural Network Applications参考文献 48被引用数 11

ひとこと要約

この論文は、元のデータ分布を保ちながら代表的な訓練データのサブセットを選び出すコアセットサンプリングを提案し、神経ネットワークアーキテクチャ探索（NAS）の効率を向上させることを目的としている。視覚的に意味のある埋め込み表現（例：Inceptionv3の特徴量）を用い、グリーディkセンター法を適用することで、1枚のRTX 3090 GPU上で探索時間を30.8時間から3.5時間へと8.8倍短縮した。その結果、フルデータセットを用いた探索と同等の精度を維持した。

ABSTRACT

Neural architecture search (NAS), an important branch of automatic machine learning, has become an effective approach to automate the design of deep learning models. However, the major issue in NAS is how to reduce the large search time imposed by the heavy computational burden. While most recent approaches focus on pruning redundant sets or developing new search methodologies, this paper attempts to formulate the problem based on the data curation manner. Our key strategy is to search the architecture using summarized data distribution, i.e., core-set. Typically, many NAS algorithms separate searching and training stages, and the proposed core-set methodology is only used in search stage, thus their performance degradation can be minimized. In our experiments, we were able to save overall computational time from 30.8 hours to 3.5 hours, 8.8x reduction, on a single RTX 3090 GPU without sacrificing accuracy.

研究の動機と目的

• 神経ネットワークアーキテクチャ探索（NAS）の高い計算コストを、モデルの精度を損なわずに低減すること。
• NASにおけるランダムなデータサンプリングの非効率性を是正し、データ分布を保持する代表的なサブセットを選択すること。
• データ分布の模倣に基づくコアセット選択が、ランダムサンプリングやトランスファー学習を上回る性能を示すかどうかを検証すること。
• データのキュレーションとしてのコアセット選択が、探索段階におけるフルデータセット学習と比較して実用的で効率的な代替手段であることを示すこと。
• コアセットサンプリングを、重み共有やプロキシデータセットのトランスファーとは明確に異なるNASの新たなパラダイムとして確立すること。

提案手法

• 事前学習済みモデル（例：Inceptionv3、ResNet50、Places365、SwAV）を用いて、入力画像を高次元の埋め込み空間に写像し、視覚的に意味のある特徴量を抽出する。
• グリーディkセンター法を適用し、任意のデータポイントまでの最大距離を最小化するように、データ多様体をカバーするコアセットのサンプルを選択する。
• コアセット選択の類似度指標として、埋め込み特徴量間のユークリッド距離を用いる。
• 探索段階では、コアセットのみを用いてNASを実行し、最終的なアーキテクチャはフルデータセットで微調整する。
• 複数の評価指標を用いて性能を評価し、Tiny-ImageNet上で最良の結果を示す埋め込みモデル（Inceptionv3 on ImageNet）を選定する。
• 選択比（例：2%、5%、10%）を最適化することで、最小限の探索時間と最大限の性能忠実度を達成する。

実験結果

リサーチクエスチョン

• RQ1 データ分布の模倣に基づくコアセット選択は、最終モデルの精度を著しく損なわずにNASの探索時間を顕著に短縮できるか？
• RQ2 ランダムサンプリングやトランスファー学習（例：CIFAR-10で探索し、Tiny-ImageNetに適用）と比較して、コアセットサンプリングは探索効率と最終精度においてどのように異なるか？
• RQ3 事前学習済みの埋め込みモデル（例：Inceptionv3、ResNet50、SwAV）の中で、ターゲットデータセットにおけるNASに最も効果的なコアセットを生成するのはどれか？
• RQ4 探索速度と性能のバランスを最適化するには、どの選択比（例：2%、5%、10%）が適切か？
• RQ5 コアセット選択は、探索と学習段階を分離するアーキテクチャフレームワークに一般化可能か？特に、そうしたフレームワークにおいて有効か？

主な発見

• コアセットサンプリングにより、1枚のRTX 3090 GPU上でのNAS探索時間が30.8時間から3.5時間へと短縮され、8.8倍の高速化が達成された。精度の著しい低下は認められなかった。
• 10%のコアセットデータを用いて探索したモデルは、フルデータセットで学習したモデルと比較してテスト精度が0.15%以内の差にとどまり、高い忠実度を示した。
• Inceptionv3の埋め込み表現を用いたコアセット選択は、他の埋め込み（ResNet50、Places365、SwAV）を上回り、10%の選択比でランダムサンプリングよりも2.1%高い精度を達成した。
• すべての選択比（2%、5%、10%）において、コアセット選択はランダムサンプリングを常に上回り、テスト精度で最大2.07%の向上を示した。
• Tiny-ImageNetにおいて、比較対象のすべてのNAS手法の中で最高のテスト精度（84.2%）を達成した。CIFAR-10で探索したトランスファー学習ベースラインを上回った。
• コアセット選択はトランスファー学習を上回り、わずか0.15 GPU日間の探索時間で高い精度を達成した。これは、先行研究と比較してはるかに低いコストであった。