[論文レビュー] Early-exit Convolutional Neural Networks

Esra Demir, Emre Akbaş|arXiv (Cornell University)|Sep 9, 2024

Neural Networks and Applications被引用数 5

ひとこと要約

本研究は Early-exit CNNs (EENets) を紹介し、信頼性ブランチを備えた学習可能なエキジットブロックを追加して推論コストを適応させ、従来の ResNet と同程度の精度を維持しつつ FLOPs を削減する手法を提案する（例：CIFAR10で20%、SVHNで30%、Tiny-ImageNetで42%削減）。

ABSTRACT

This paper is aimed at developing a method that reduces the computational cost of convolutional neural networks (CNN) during inference. Conventionally, the input data pass through a fixed neural network architecture. However, easy examples can be classified at early stages of processing and conventional networks do not take this into account. In this paper, we introduce 'Early-exit CNNs', EENets for short, which adapt their computational cost based on the input by stopping the inference process at certain exit locations. In EENets, there are a number of exit blocks each of which consists of a confidence branch and a softmax branch. The confidence branch computes the confidence score of exiting (i.e. stopping the inference process) at that location; while the softmax branch outputs a classification probability vector. Both branches are learnable and their parameters are separate. During training of EENets, in addition to the classical classification loss, the computational cost of inference is taken into account as well. As a result, the network adapts its many confidence branches to the inputs so that less computation is spent for easy examples. Inference works as in conventional feed-forward networks, however, when the output of a confidence branch is larger than a certain threshold, the inference stops for that specific example. The idea of EENets is applicable to available CNN architectures such as ResNets. Through comprehensive experiments on MNIST, SVHN, CIFAR10 and Tiny-ImageNet datasets, we show that early-exit (EE) ResNets achieve similar accuracy with their non-EE versions while reducing the computational cost to 20% of the original. Code is available at https://github.com/eksuas/eenets.pytorch

研究の動機と目的

• 入力の難易度に基づく早期終了を可能にし、CNNの推論コストを削減することを目指す。
• 独立した信頼度ブランチと分類ブランチを備えた複数のエグジットブロックを導入する。
• 精度と計算コストを同時に最適化する学習ロスを開発する。
• ResNet アーキテクチャとの適合性を示し、標準データセットでコストと精度のトレードオフを評価する。

提案手法

• 選択したネットワーク位置に Early-exit ブロック（Plain、Pool、Bnpool）を追加して EENets を作成する。
• 各エグジットブロックは信頼度ブランチ（sigmoid）とソフトマックス分類ブランチを持ち、推論時に信頼度が閾値を超えたときにエグジットが発火する（T=0.5）。
• Pool/Bnpool のエグジットではグローバル平均プーリングを使用して特徴マップのサイズと計算を削減。
• ロス L = L_MC + lambda * L_Cost を用いたジョイント学習、エグジット間でソフト/レイヤー単位のコスト定義を適用; 2つのバリアント L_v1 と L_v2 を議論し、デッドエグジット問題を回避するため L_v2 を推奨。
• Pareto、Golden Ratio、Fine、Linear、Quadratic のスキームを用いてエグジットブロックを分布させ、層間の計算予算を制御する。
• 学習可能な信頼度スコアを用い、非終了ペナルティなどの追加ハイパーパラメータなしで単一ステージで EENets を訓練できることを示す。

実験結果

リサーチクエスチョン

• RQ1 EENets は実際にさまざまなエグジット位置で終了するか、入力ごとにエグジット選択に多様性があるか？
• RQ2 EEでない ResNet と比較して計算コストを削減しつつ、競争力のある精度を維持できるか？
• RQ3 どのエグジットブロックタイプ（Plain、Pool、Bnpool）がより良い性能を発揮するか？
• RQ4 エグジットブロックの分布戦略がデータセット全体で精度とコストにどう影響するか？

主な発見

出口ブロック	FLOPs	相対コスト	サンプル数
EE-block0	546	0.08	47
EE-block1	1844	0.26	2247
Last Exit	6982	1.00	7706

• EENets は非 EE ResNet と同等の精度を達成しつつ計算を削減する、例えば CIFAR10 で 20%、SVHN で 30%、Tiny-ImageNet で 42%（相対 FLOPs）を実現。
• MNIST-optimized EENet-8 での explicit エグジットブロック分布は選択的な早期終了と全体的に競争力のある精度を示す（例: 96.55%、相対コスト 0.82）。
• 学習可能な信頼度ブランチはデッドユニット問題を回避し、精度とコストのバランスを取る単一ステージのロスで訓練される。
• 実験では Pool/Bnpool のグローバル平均プーリングエグジットが Plain エグジットよりも精度とコストのトレードオフで有利となる傾向。