[論文レビュー] Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets

Yong Guo, Yaofo Chen+6 more|arXiv (Cornell University)|Feb 27, 2021

Simulation Techniques and Applications参考文献 42被引用数 4

ひとこと要約

本稿では、任意の計算リソース予算に対してPareto最適なニューラルアーキテクチャを生成できる1つのジェネレータモデルを学習するParetoフロントに配慮したニューラルアーキテクチャジェネレータ（NAG）を提案する。複数のサンプル済みのリソース予算を同時に最適化し、Pareto優位性報酬を用いることで、モバイル、CPU、GPUプラットフォームにおいて優れた精度-遅延トレードオフを達成する。従来のNASと比較して、推論ベースの生成が5秒未塔に抑えられる。

ABSTRACT

Designing feasible and effective architectures under diverse computation budgets incurred by different applications/devices is essential for deploying deep models in practice. Existing methods often perform an independent architecture search for each target budget, which is very inefficient yet unnecessary. Moreover, the repeated independent search manner would inevitably ignore the common knowledge among different search processes and hamper the search performance. To address these issues, we seek to train a general architecture generator that automatically produces effective architectures for an arbitrary budget merely via model inference. To this end, we propose a Pareto-Frontier-aware Neural Architecture Generator (NAG) which takes an arbitrary budget as input and produces the Pareto optimal architecture for the target budget. We train NAG by learning the Pareto frontier (i.e., the set of Pareto optimal architectures) over model performance and computational cost (e.g., latency). Extensive experiments on three platforms (i.e., mobile, CPU, and GPU) show the superiority of the proposed method over existing NAS methods.

研究の動機と目的

• 実世界のアプリケーションにおいて、計算リソース制約が異なる状況で、各リソース予算に対して個別にニューラルアーキテクチャ探索（NAS）を実行する際の非効率性を解消すること。
• 複数のリソース予算にわたってPareto最適なモデルを生成できる統合型アーキテクチャジェネレータを学習し、探索プロセス間で共有される知識を活用すること。
• 個々のリソース予算を独立して最適化するのではなく、モデルの精度と計算コスト（例：遅延）のParetoフロントを学習することで、探索の効率性と性能を向上させること。
• 繰り返し高価な探索プロセスを実行するのを避け、推論により高速かつオンデマンドでアーキテクチャを生成できる仕組みを提供すること。

提案手法

• NAGフレームワークは、ターゲットリソース予算を入力として受け取り、それに応じたニューラルアーキテクチャを出力するアーキテクチャジェネレータ（LSTMベース）から構成される。
• ジェネレータは、均等にサンプルされた離散的リソース予算の集合に対して期待報酬を最大化することで訓練され、性能とコストのParetoフロントを近似する。
• アーキテクチャ評価器を導入し、精度と遅延の両面に基づいてアーキテクチャを比較するPareto優位性ルールを学習する。
• Pareto優位性報酬を用いて、両方の指標で支配されていないアーキテクチャへ向かうようにジェネレータをガイドする。
• 埋め込み補間法により、トレーニング時に見られなかった任意のリソース予算に対してもジェネレータが一般化可能になる。
• 複数のリソース予算を同時に最適化することで、フロント全体にわたる探索性能の向上が可能になる共有知識を活用する。

実験結果

リサーチクエスチョン

• RQ1 任意の計算リソース予算に対して、Pareto最適なアーキテクチャを生成できる1つのニューラルアーキテクチャジェネレータを訓練可能か？
• RQ2 複数のリソース予算を同時に最適化することで、個別にリソース予算ごとに探索するのと比較して、探索性能がどのように向上するか？
• RQ3 Paretoフロントを学習することで、異なる遅延制約下での生成アーキテクチャの多様性と品質はどの程度向上するか？
• RQ4 提案手法は、従来のNAS手法と比較して、大幅に低い生成コストで高性能なアーキテクチャを達成できるか？

主な発見

• NAGはImageNetにおいて、すべてのテスト済みリソース予算で最先端の精度を達成し、モバイルデバイスで200msの遅延で80.5％のtop-1精度を達成。繰り返しの独立探索や多目的NASベースラインを上回る。
• 推論による生成時間は1アーキテクチャあたり5秒未塔に短縮され、従来の方法（PC-DARTS：2時間、ENAS：12時間、DARTS：4日）と比較して顕著に高速化された。
• トレーニング時にK=10のリソース予算をサンプルした場合、140msの遅延で79.8％のtop-1精度を達成。K=2（79.1％）やK=30（79.7％）と比較して、フロント近似のバランスが最適であることが示された。
• 図5に示すように、トレーニング中に複数のリソース予算間で共有知識を活用したNAGが学習したParetoフロントは、OFA-MOのそれよりも支配的である。
• アブレーションスタディの結果、Paretoフロント学習戦略およびPareto優位性報酬の両方が高性能を達成するために不可欠であることが確認され、欠落させると精度や遅延が著しく低下した。
• アーキテクチャ評価器は、性能とコストのトレードオフを的確に比較・選別できる信頼性のあるPareto優位性ルールを学習した。