[論文レビュー] A New Compensatory Genetic Algorithm-Based Method for Effective Compressed Multi-function Convolutional Neural Network Model Selection with Multi-Objective Optimization

Luna M. Zhang|arXiv (Cornell University)|Jun 8, 2019

Brain Tumor Detection and Classification参考文献 11被引用数 5

ひとこと要約

本稿では、高い分類精度、低いモデルサイズ、高速な推論、エネルギー効率をバランスさせるために、圧縮された多機能畳み込みニューラルネットワーク（CMCNNs）を自動的に選択する新しい補正的遺伝的アルゴリズム（GA）を提案する。Inception-V4ベースのアーキテクチャにおいて、多様な活性化関数と層のプルーニングを最適化することで、F1スコア、メモリ使用量（最低454KB）、推論速度において非圧縮MCNNを上回るCMCNNを生成した。最良のモデルは、最高のF1スコアの100％を達成しながら、44％も小型化された。

ABSTRACT

In recent years, there have been many popular Convolutional Neural Networks (CNNs), such as Google's Inception-V4, that have performed very well for various image classification problems. These commonly used CNN models usually use the same activation function, such as RELU, for all neurons in the convolutional layers; they are "Single-function CNNs." However, SCNNs may not always be optimal. Thus, a "Multi-function CNN" (MCNN), which uses different activation functions for different neurons, has been shown to outperform a SCNN. Also, CNNs typically have very large architectures that use a lot of memory and need a lot of data in order to be trained well. As a result, they tend to have very high training and prediction times too. An important research problem is how to automatically and efficiently find the best CNN with both high classification performance and compact architecture with high training and prediction speeds, small power usage, and small memory size for any image classification problem. It is very useful to intelligently find an effective, fast, energy-efficient, and memory-efficient "Compressed Multi-function CNN" (CMCNN) from a large number of candidate MCNNs. A new compensatory algorithm using a new genetic algorithm (GA) is created to find the best CMCNN with an ideal compensation between performance and architecture size. The optimal CMCNN has the best performance and the smallest architecture size. Simulations using the CIFAR10 dataset showed that the new compensatory algorithm could find CMCNNs that could outperform non-compressed MCNNs in terms of classification performance (F1-score), speed, power usage, and memory usage. Other effective, fast, power-efficient, and memory-efficient CMCNNs based on popular CNN architectures will be developed for image classification problems in important real-world applications, such as brain informatics and biomedical imaging.

研究の動機と目的

• モバイル機器やバイオメディカルデバイスなどのリソース制限のある環境向けに、コンactで高性能なCNNを見つける課題に対処すること。
• ReLUのみを用いる単機能CNN（例：ReLUのみ）の制限を克服し、層ごとに多機能活性化関数を組み合わせることを可能にすること。
• 同時に分類精度、モデルサイズ、推論速度、エネルギー効率を最適化する、自動的で多目的なモデル選択フレームワークの開発。
• 分類性能を損なわず、深層CNNの計算コストとメモリコストを低減すること。

提案手法

• 圧縮された多機能CNN（CMCNN）アーキテクチャの探索空間において、畳み込み層の数や混合活性化関数を変化させることを考慮した、新しい補正的遺伝的アルゴリズム（GA）を設計。
• 選択肢の組み合わせを最適化するためのフィットネス関数は、重み付き非線形スコアを用いて、F1スコア、モデルサイズ、推論時間、消費電力といった複数の目的をバランスさせる。
• 層数や活性化関数の割り当てといったハイパーパramータに対して、選択、交差、変異操作を適用することで、CMCNNの集団を進化させる。
• 圧縮バージョンを系統的に生成するため、修正されたInception-V4アーキテクチャをベースとして用いる。
• Pareto最適解が保持される多目的最適化戦略を採用し、性能が高く、サイズが最小限のモデルを優遇する。
• フィットネス関数におけるユーザー設定可能な重みをサポートし、モデルサイズや精度といった特定の目的を優先できるようにする。

実験結果

リサーチクエスチョン

• RQ1 多目的遺伝的アルゴリズムは、高精度と低リソース消費の両立を実現する圧縮多機能CNNを効果的に最適化できるか？
• RQ2 CMCNNの性能は、F1スコア、メモリ使用量、推論速度の観点で非圧縮MCNNと比べてどう異なるか？
• RQ3 提案された補正的GAは、ランダム探索や非適応的モデル選択に比べて、最適なCMCNNアーキテクチャを特定する上で優れているか？
• RQ4 層ごとに多様な活性化関数を用いる場合、モデルサイズの縮小が分類性能に与える影響は何か？
• RQ5 フィットネス関数を調整することで、F1スコアを著しく低下させることなく、モデルのコンact性を優先できるか？

主な発見

• 新しいGAによって生成されたCM_GA^4モデルは、454KBのモデルサイズを達成し、非圧縮MCNN（815KB）と比較して44％も小型化されたが、F1スコアは維持または上回った。
• 60件のテストケースのうち58件で、新しいGAによって選択されたCM_GA^kは非最適化対象（CM^k）をF1スコアで上回り、CM_GA^8はCM^8と同等の性能を示した。
• 45件中43件のケースで、新しいGAを用いたCMCNNは、非圧縮MCNN（M_GA^10）よりも高いF1スコアと低いメモリ使用量を達成し、優れた効率性を示した。
• 最も優れた性能を示したCMCNN（CM_GA^4）は、最短の実行時間と最小のメモリフットプリントを有しており、エッジデバイスに適した高いエネルギー効率性を示した。
• 新しいGAはモデル選択の効率を顕著に向上させ、ベンチマークで最も優れたモデルはすべて補正的GAを用いて生成されたが、ランダムサーチでは得られなかった。
• 結果から、モデルサイズがフィットネス関数に強く影響することが示唆された。2番目に小さなモデルが常に最高のF1スコアを達成しており、サイズと精度の強いトレードオフ関係があることが明らかになった。