[論文レビュー] Rethinking the Number of Channels for the Convolutional Neural Network

Hui Zhu, Zhulin An+4 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Neural Network Applications参考文献 22被引用数 6

ひとこと要約

本稿では、関数を保存する変換に基づく機能的インクリメンタルサーチ手法を提案し、畳み込みニューラルネットワークのチャネル数を効率的に最適化する。モデルパラメータを制御しながら幅の構成を迅速に探索することで、CIFAR-10では約0.5%、CIFAR-100では約2.33%の精度向上を達成しつつ、パラメータ数を削減した。計算コストは単一のNVIDIA Titan Xp GPUで0.4〜1.3 GPU日間で実現された。

ABSTRACT

Latest algorithms for automatic neural architecture search perform remarkable but few of them can effectively design the number of channels for convolutional neural networks and consume less computational efforts. In this paper, we propose a method for efficient automatic architecture search which is special to the widths of networks instead of the connections of neural architecture. Our method, functionally incremental search based on function-preserving, will explore the number of channels rapidly while controlling the number of parameters of the target network. On CIFAR-10 and CIFAR-100 classification, our method using minimal computational resources (0.4~1.3 GPU-days) can discover more efficient rules of the widths of networks to improve the accuracy by about 0.5% on CIFAR-10 and a~2.33% on CIFAR-100 with fewer number of parameters. In particular, our method is suitable for exploring the number of channels of almost any convolutional neural network rapidly.

研究の動機と目的

• 畳み込みニューラルネットワークのチャネル数最適化において、従来のニューラルアーキテクチャサーチ（NAS）手法の非効率さと高い計算コストを解消すること。
• 接続性ではなくネットワークの幅（チャネル数）を効率的に探索する手法を開発し、より高速でパラメータ制御可能な探索を可能にすること。
• CIFAR-10やCIFAR-100などの標準ベンチマークで性能を向上させる、非単調なチャネル幅ルールを発見すること。
• ResNet、VGG、PyramidNetなどの多様なアーキテクチャに一般化可能であることを検証すること。
• 一般化性能とパラメータ効率性を向上させるための最適なチャネル分布パターンに関する実証的知見を提供すること。

提案手法

• 関数を保存する変換に基づく機能的インクリメンタルサーチ戦略を提案し、迅速かつ安定したネットワーク幅探索を可能にする。
• Net2Netスタイルの知識蒸留を用い、チャネル数を変更した学生ネットワークに事前学習済みの教師ネットワークの知識を転送する。
• 関数的に同等の方法でチャネル数を体系的に増加または変更し、探索中もネットワークの挙動を保存する。
• 精度、パラメータ数、FLOPsのバランスを取るフィットネス評価関数を採用し、効率的なアーキテクチャへの探索を導く。
• 残差ブロックやその他の標準モジュールに適用可能であり、ほぼあらゆるCNNアーキテクチャに適用可能である。
• 単一のNVIDIA Titan Xp GPUで0.4〜1.3 GPU日間の最小限の計算リソースで探索を実行する。

実験結果

リサーチクエスチョン

• RQ1 接続性に関する高コストなアーキテクチャサーチに依存せずに、関数を保存するサーチ手法がCNNのチャネル数を効率的に最適化できるか。
• RQ2 CIFAR-10およびCIFAR-100でパラメータ数を削減しつつ精度を向上させるために、最適な非単調なチャネル幅パターンは何か。
• RQ3 幅（チャネル数）にのみ焦点を当てたサーチが、従来のNAS手法に比べて効率性と性能で優れているか。
• RQ4 ResNet、VGG、PyramidNetなどの異なるアーキテクチャに、発見されたチャネルルールが一般化可能か。
• RQ5 標準の増加またはピラミッド型パターンではなく、変動的または減少するチャネルパターンを採用することでパフォーマンスが向上するか。

主な発見

• 提案手法は、CIFAR-10で約0.5%、CIFAR-100で約2.33%のトップ-1精度向上を達成しつつ、パラメータ数を削減した。
• 探索プロセスには0.4〜1.3 GPU日間の計算リソースしか必要とせず、標準のNAS手法と比較して顕著に計算コストを削減した。
• 非単調なチャネル幅パターン（例えば、変動的または減少する幅）は、標準の増加またはピラミッド型パターンよりも、パラメータ比精度の観点で優れていることが分かった。
• 本手法は、ResNet-18、ResNet-34、VGG-16、SE-ResNet-50、PyramidNet-110の効率的で最適なチャネル設定を効果的に発見した。
• ResNet-18およびPyramidNet-110の発見されたチャネルパターンは、元の構成および基準となる増加／減少構成よりも優れたパフォーマンスを達成した。
• 本手法は、アーキテクチャの再設計を伴わず、幅広い既存のCNNアーキテクチャに適用可能な、効率的でパラメータ制御可能な探索を可能にした。