[論文レビュー] Learnable Embedding Space for Efficient Neural Architecture Compression

Shengcao Cao, Xiaofang Wang+1 more|arXiv (Cornell University)|Feb 1, 2019

Advanced Neural Network Applications被引用数 17

ひとこと要約

本論文は、ベイズ最適化を用いたデータ駆動型アーキテクチャ選択を可能にする、学習可能な埋め込み空間を提案する。構造的および性能関連の関係を捉えるコンパクトで転送可能なアーキテクチャ表現を学習することで、ランダムサーチや強化学習、ShuffleNet などの最先端の手作業設計モデルを凌駕し、圧縮モデル探索における優れた精度-精度のトレードオフを達成する。

ABSTRACT

We propose a method to incrementally learn an embedding space over the domain of network architectures, to enable the careful selection of architectures for evaluation during compressed architecture search. Given a teacher network, we search for a compressed network architecture by using Bayesian Optimization (BO) with a kernel function defined over our proposed embedding space to select architectures for evaluation. We demonstrate that our search algorithm can significantly outperform various baseline methods, such as random search and reinforcement learning (Ashok et al., 2018). The compressed architectures found by our method are also better than the state-of-the-art manually-designed compact architecture ShuffleNet (Zhang et al., 2018). We also demonstrate that the learned embedding space can be transferred to new settings for architecture search, such as a larger teacher network or a teacher network in a different architecture family, without any training. Code is publicly available here: this https URL .

研究の動機と目的

• 圧縮モデルの巨大な探索空間を効率的に探索できない既存のニューラルアーキテクチャサーチ手法の非効率性に対処すること。
• 構造的および性能関連の関係を捉える、コンパクトで学習可能なニューラルアーキテクチャ表現を開発すること。
• 再訓練なしに、異なる教師ネットワーク間で転送可能なアーキテクチャサーチを可能にすること。
• 学習済み埋め込み空間上でカーネルベースのベイズ最適化を用いることで、探索効率とモデル性能を向上させること。

提案手法

• 本手法は、微分可能アーキテクチャ符号化機構を用いて、連続的かつ低次元の埋め込み空間をアーキテクチャ表現に学習する。
• 学習済み埋め込み空間上でカーネル関数を定義し、ベイズ最適化が有望なアーキテクチャの選定を支援する。
• ベイズ最適化はカーネルを用いて精度-アーキテクチャ関係をモデル化し、期待改善度が大きいアーキテクチャを選択する。
• 埋め込み空間は教師ネットワークで訓練され、異なる教師モデルを用いた新しい探索タスクへ直接転送可能である。
• 埋め込みに基づく獲得関数によって最も有望な候補を特定することで、すべての候補アーキテクチャの高価な訓練を回避する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な埋め込み空間は、圧縮モデルのニューラルアーキテクチャサーチの効率性と性能を向上させることができるか？
• RQ2 学習済み埋め込みは、異なる教師ネットワークやアーキテクチャファミリーにわたってどれほど一般化するか？
• RQ3 埋め込みベースの探索は、精度とサンプル効率の両面でランダムサーチや強化学習を凌駆できるか？
• RQ4 再訓練なしに、埋め込み空間を新しい探索設定にどの程度転送できるか？

主な発見

• 提案手法は、アーキテクチャサーチの過程で、ランダムサーチや強化学習を顕著に上回り、精度とサンプル効率の両面で優れた性能を示した。
• 発見された圧縮アーキテクチャは、最先端の手作業設計アーキテクチャであるShuffleNetを上回る精度を達成した。
• 学習済み埋め込み空間は、追加の訓練なしに、より大きな教師ネットワークや異なるアーキテクチャファミリーを含む新しい探索タスクへも転送可能である。
• 少ない評価回数で優れた性能を達成したため、探索プロセスにおける高いサンプル効率を示した。