[論文レビュー] DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures

Jin‐Dong Dong, An-Chieh Cheng+3 more|arXiv (Cornell University)|Jun 21, 2018

Advanced Neural Network Applications参考文献 23被引用数 18

ひとこと要約

DPP-Net は、デバイスに依存しない（精度、モデルサイズ）およびデバイス関連の目的（推論時間、メモリ使用量）を同時に最適化するデバイスに配慮したプログレッシブサーチフレームワークであり、多様なハードウェアでパレート最適なモデルを達成する。Titan X、Jetson TX1、およびモバイル端末で、CondenseNet や NASNet (Mobile) よりも高い精度と高速な推論を実現している。

ABSTRACT

Recent breakthroughs in Neural Architectural Search (NAS) have achieved state-of-the-art performances in applications such as image classification and language modeling. However, these techniques typically ignore device-related objectives such as inference time, memory usage, and power consumption. Optimizing neural architecture for device-related objectives is immensely crucial for deploying deep networks on portable devices with limited computing resources. We propose DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures, optimizing for both device-related (e.g., inference time and memory usage) and device-agnostic (e.g., accuracy and model size) objectives. DPP-Net employs a compact search space inspired by current state-of-the-art mobile CNNs, and further improves search efficiency by adopting progressive search (Liu et al. 2017). Experimental results on CIFAR-10 are poised to demonstrate the effectiveness of Pareto-optimal networks found by DPP-Net, for three different devices: (1) a workstation with Titan X GPU, (2) NVIDIA Jetson TX1 embedded system, and (3) mobile phone with ARM Cortex-A53. Compared to CondenseNet and NASNet (Mobile), DPP-Net achieves better performances: higher accuracy and shorter inference time on various devices. Additional experimental results show that models found by DPP-Net also achieve considerably-good performance on ImageNet as well.

研究の動機と目的

• 推論時間、メモリ、消費電力などのデバイス固有の制約を通常のニューラルアーキテクチャサーチ (NAS) が無視するというギャップに対処すること。
• 精度、モデルサイズといったデバイスに依存しない（デバイスに依存しない）目的と、推論時間、メモリ使用量といったデバイス関連の目的を同時に最適化する効率的なサーチ手法を開発すること。
• リソース制限のあるデバイスへのディープネットワークの実用的導入を可能にするために、性能と効率のバランスが取れたアーキテクチャを見つけること。
• ハードウェア固有の最適化があるため、あるデバイスで探索されたモデルが他のデバイスに一般化しにくいことから、デバイスに配慮したサーチの必要性を示すこと。

提案手法

• DPP-Net は、最先端のモバイル CNN にインspiredされたコンパクトなサーチスペースを採用し、サーチの複雑さを低減している。
• Liu ら (2017) のプログレッシブサーチを用いて、段階的に小さい段階でモデルを訓練・評価することで、アーキテクチャサーチを高速化している。
• 精度、推論時間、メモリ使用量、モデルサイズの複数の目的を最適化し、パレート最適なアーキテクチャを特定する。
• 実際のデバイス（Titan X、Jetson TX1、ARM Cortex-A53 搭載スマートフォン）上でサーチを実施することで、ハードウェアに配慮した性能予測を保証している。
• グループラッソ正則化を用いて学習されたグループ畳み込みにスパarsityを誘導し、効率性を向上させている。
• 推論時間とメモリ使用量は、ONNX および Caffe2 を用いてターゲットデバイス上で直接測定され、現実的な評価が行われている。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャサーチ手法が、精度と推論時間、メモリ使用量といったデバイス固有の制約を同時に効果的に最適化できるか。
• RQ2 あるデバイスで探索されたモデルの性能が、異なるハードウェアおよびソフトウェアスタックを持つ他のデバイスにどの程度一般化するか。
• RQ3 プログレッシブサーチ戦略が、マルチオブジェクティブ NAS におけるパレート最適性を維持しつつ、サーチ効率を著しく向上できるか。
• RQ4 デバイスに配慮したサーチアプローチは、最先端のハンドクラフトされたモバイル CNN よりも、精度と効率のトレードオフを改善できるか。

主な発見

• CIFAR-10 において、DPP-Net は Titan X、Jetson TX1、ARM Cortex-A53 搭載スマートフォンの3デバイスすべてで、CondenseNet や NASNet (Mobile) よりも高い精度と短い推論時間を達成した。
• 同じようなモデルでも、デバイス間で推論時間に顕著な差が生じたことから、デバイス固有の特性が性能に大きく影響することを示し、デバイスに配慮したサーチの必要性を裏付けた。
• DPP-Net-Panacea は ImageNet でトップ-1 精度 25.98%、トップ-5 精度 8.21% を達成し、両方の指標で CondenseNet-74 や NASNet (Mobile) を上回った。
• スマートフォン上で DPP-Net が探索したモデル（DPP-Net-Panacea）は、推論時間 0.676 秒、メモリ使用量 238MB を実現し、速度およびメモリ効率の両面で NASNet (Mobile) を上回った。
• サーチプロセスは効率的かつスケーラブルであり、プロキシメトリクスやシミュレーションに依存せずに、実デバイスでの直接評価が可能だった。
• 結果から、あるデバイスで最適化されたモデルが他のデバイスでも必ずしも優れた性能を発揮するわけではないことが確認され、デバイスに配慮したサーチの必要性が裏付けられた。