[論文レビュー] Peephole: Predicting Network Performance Before Training

Boyang Deng, Junjie Yan+1 more|arXiv (Cornell University)|Dec 9, 2017

Anomaly Detection Techniques and Applications参考文献 23被引用数 84

ひとこと要約

Peephole は、Unified Layer Code と LSTM を用いてアーキテクチャだけからニューラルネットの最終性能を予測し、迅速なアーキテクチャ駆動の性能推定とデータセット間の信頼できるランキングを可能にします。

ABSTRACT

The quest for performant networks has been a significant force that drives the advancements of deep learning in recent years. While rewarding, improving network design has never been an easy journey. The large design space combined with the tremendous cost required for network training poses a major obstacle to this endeavor. In this work, we propose a new approach to this problem, namely, predicting the performance of a network before training, based on its architecture. Specifically, we develop a unified way to encode individual layers into vectors and bring them together to form an integrated description via LSTM. Taking advantage of the recurrent network's strong expressive power, this method can reliably predict the performances of various network architectures. Our empirical studies showed that it not only achieved accurate predictions but also produced consistent rankings across datasets -- a key desideratum in performance prediction.

研究の動機と目的

• トレーニングなしで性能を予測することにより、ネットワーク設計のコストと時間を削減する。
• 異種アーキテクチャを統一する普遍的なレイヤ表現を開発する。
• 可変深さ/トポロジーを持つネットワーク間でレイヤ表現をLSTMで統合する。
• アーキテクチャ探索の迅速なフィードバックを可能にし、有望な設計を優先する。
• CIFAR-10 と MNIST で予測を検証し、ランキングの一貫性を評価する。

提案手法

• Unified Layer Code は各レイヤを整数コーディング（TY, KW, KH, CH）とレイヤ埋め込みを用いて固定次元ベクトルにエンコードする。
• LSTM がネットワークトポロジに沿ってレイヤ表現を集約し、構造的特徴を生成する。
• エポック情報をエンコードし、構造特徴と組み合わせてMLPで最終精度を予測する。
• ブロックベースの生成により、マルコフ駆動ブロックを介して現実的な多様なアーキテクチャを構築し、予測器を予算内で訓練する。
• 訓練目的は、各アーキテクチャの予測最終エポック精度と実際の精度の間で滑らかなL1損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャだけに基づいて、トレーニング前にネットワーク性能を正確に予測できるか？
• RQ2 異種レイヤタイプを予測モデルのために如何に一様に表現できるか？
• RQ3 LSTM でレイヤ情報を逐次統合することは、深さ/トポロジ全体のアーキテクチャパターンを捉えられるか？
• RQ4 予測された性能ランキングは、データセットを跨いで安定し、真の性能と相関しているか？

主な発見

方法	MSE	Tau	R^2
BNN	0.0032	0.5417	0.5400
ν-SVR	0.0018	0.6232	0.7321
Peephole	0.0010	0.7696	0.8596

• Peephole は CIFAR-10 においてベースライン手法より低い MSE を達成（MSE 0.0010; Tau 0.7696; R^2 0.8596）。
• Peephole は強いランキング相関を示し、CIFAR-10 で Bayesian NN および ν-SVR を複数指標で上回った。
• MNIST でも Peephole は報告された指標全般でベースラインを上回り、データセット間の頑健性を示している。
• LSTM から学習された構造的特徴は畳み込み層での応答増大などのアーキテクチャパターンを反映しており、表現の有意性を裏付けている。