[論文レビュー] Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning

Md. Mehedi Hasana, Muhammad Ibrahim+1 more|arXiv (Cornell University)|Mar 1, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、転移学習におけるEfficientNetの最適な層ブロックを自動的に選択する遺伝的アルゴリズムを提案する。これにより、トレーニング時間を短縮しつつ、精度を維持または向上させる。ネットワークのブロックを最適化の単位として扱い、OTDDを用いてブロックの重要度を測定することで、標準的な微調整と比較して、より少ない可学習パラメータで収束が速くなる。

ABSTRACT

The performance of convolutional neural networks (CNN) depends heavily on their architectures. Transfer learning performance of a CNN relies quite strongly on selection of its trainable layers. Selecting the most effective update layers for a certain target dataset often requires expert knowledge on CNN architecture which many practitioners do not posses. General users prefer to use an available architecture (e.g. GoogleNet, ResNet, EfficientNet etc.) that is developed by domain experts. With the ever-growing number of layers, it is increasingly becoming quite difficult and cumbersome to handpick the update layers. Therefore, in this paper we explore the application of genetic algorithm to mitigate this problem. The convolutional layers of popular pretrained networks are often grouped into modules that constitute their building blocks. We devise a genetic algorithm to select blocks of layers for updating the parameters. By experimenting with EfficientNetB0 pre-trained on ImageNet and using Food-101, CIFAR-100 and MangoLeafBD as target datasets, we show that our algorithm yields similar or better results than the baseline in terms of accuracy, and requires lower training and evaluation time due to learning less number of parameters. We also devise a metric called block importance to measure efficacy of each block as update block and analyze the importance of the blocks selected by our algorithm.

研究の動機と目的

• 転移学習において、EfficientNetのような深層ネットワークでは、微調整に適した層を手動で選択することが難しいという課題に対処すること。
• 個々の層の代わりに層のブロック全体を選択することで、パラメータ更新に必要なトレーニング時間と計算コストを削減すること。
• 畳み込みニューラルネットワーク（CNN）アーキテクチャの専門知識に依存せずに、自動的に選択プロセスを実行する遺伝的アルゴリズムを用いること。
• 特徴学習への寄与度を評価・指針とするために、OTDD（最適輸送データ距離）に基づくブロック重要度指標を導入すること。
• Food-101、CIFAR-100、MangoLeafBDを含む多様なデータセットにおいて、ブロックレベルでの選択の有効性を示すこと。

提案手法

• 本手法は、遺伝的アルゴリズムを用いて、ブロック構成の集団を進化させる。各個体は、EfficientNetB0で微調整対象とするブロックの集合を表す。
• 各染色体は、転移学習中にパラメータ更新の対象となるブロックを示すバイナリーベクトルとして符号化される。
• 適応度は、ターゲットデータセットでのトレーニング後に評価され、計算量を削減するための早期停止を組み込む。
• アルゴリズムは、OTDD（最適輸送データ距離）から導出されたブロック重要度指標を組み込み、各ブロックの特徴学習への寄与度を評価する。
• EfficientNetのアーキテクチャ的構造に基づいてブロックをグループ化し、残差ブロックを最適化の原子的単位として扱う。
• 本手法は、ImageNetで事前学習済みのEfficientNetB0をベースモデルとして用い、Food-101、CIFAR-100、MangoLeafBDの3つのデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、EfficientNetの層ブロックを転移学習に適した形で効果的に選択できるか？ その結果、精度を損なわずトレーニング時間を短縮できるか？
• RQ2 標準的な層レベルの微調整と比較して、ブロックレベルでの選択は、精度とトレーニング効率の点でどのように異なるか？
• RQ3 OTDDに基づくブロック重要度指標は、実際の転移学習における性能とどの程度相関しているか？
• RQ4 本手法は、複雑さやドメイン特性が異なる多様なデータセットに一般化可能か？
• RQ5 選択されたブロックは、その位置と重要度スコアに基づいて、意味のある特徴学習の役割を果たしていると解釈できるか？

主な発見

• 提案手法の遺伝的アルゴリズムは、Food-101、CIFAR-100、MangoLeafBDのすべてのターゲットデータセットで、標準的な微調整と同等またはより高い精度を達成した。
• 可学習パラメータ数を顕著に削減したため、トレーニングおよび評価時間が著しく短縮された。
• OTDDに基づくブロック重要度指標は、高性能なブロックを効果的に同定できており、選択されたブロックは性能向上と強い相関を示した。
• EfficientNetB0の中央部および後段のブロックが、一貫して更新対象として選択された。これは、ターゲットタスクの識別的特徴を学習する上で重要な役割を果たしていることを示唆している。
• 画像の複雑さやクラス分布の違いがあるデータセットに対しても、アルゴリズムは頑健に機能し、一般化の可能性を示した。
• ブロックレベルでの選択により、ネットワーク全体の30–50％のブロックにのみパラメータ更新を集中させたため、計算オーバーヘッドが低減されたが、性能の劣化は見られなかった。