[論文レビュー] Layer Folding: Neural Network Depth Reduction using Activation Linearization

Amir Ben Dror, Niv Zehngut+4 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Neural Network Applications参考文献 63被引用数 4

ひとこと要約

この論文では、連続する畳み込み層の間に存在する非線形活性化関数を学習的に削除することで、ニューラルネットワークの深さを低減する手法「Layer Folding」を提案する。これにより、これらの層を1つの大きな畳み込み層に統合できる。本手法は、モバイルおよびエッジデバイス上で最大25%のレイテンシ削減を達成し、精度の低下は最小限（最大0.5%）に抑えられ、ImageNetベンチマークにおいて性能を維持または向上させる。

ABSTRACT

Despite the increasing prevalence of deep neural networks, their applicability in resource-constrained devices is limited due to their computational load. While modern devices exhibit a high level of parallelism, real-time latency is still highly dependent on networks' depth. Although recent works show that below a certain depth, the width of shallower networks must grow exponentially, we presume that neural networks typically exceed this minimal depth to accelerate convergence and incrementally increase accuracy. This motivates us to transform pre-trained deep networks that already exploit such advantages into shallower forms. We propose a method that learns whether non-linear activations can be removed, allowing to fold consecutive linear layers into one. We apply our method to networks pre-trained on CIFAR-10 and CIFAR-100 and find that they can all be transformed into shallower forms that share a similar depth. Finally, we use our method to provide more efficient alternatives to MobileNetV2 and EfficientNet-Lite architectures on the ImageNet classification task.

研究の動機と目的

• リソース制約のあるデバイスにおける深層ニューラルネットワークの高レイテンシ問題に取り組み、顕著な精度低下を伴わずにネットワークの深さを低減すること。
• 事前学習済みの深層ネットワークが、表現力の維持を前提として、より浅く効率的な形に変換可能かどうかを調査すること。
• 性能を損なわずに圧縮可能な最小の深さ（効果的非線形性度、EDNL と呼ぶ）を特定すること。
• ReLUに類似した活性化関数を層間で学習的に削除することで、深さの低減を可能とし、隣接する線形層の機能的統合を実現する手法を開発すること。
• MobileNetV2 や EfficientNet-Lite といった人気のあるモバイルアーキテクチャの効率的代替手段を、活性化関数の線形化による深さ低減によって提供すること。

提案手法

• 連続する畳み込み層の間で、モデル精度に悪影響を及げない非線形ReLU6活性化関数を学習的に特定・削除する手法を提案する。
• 中間の非線形性を除去することで、連続する線形層を1つの同等の層に統合する変換を形式的に定義し、カーネルサイズを $k \times k$ から $(2k-1) \times (2k-1)$ に拡大する。
• 元のネットワークの途中層の表現を保持する微調整フェーズに本手法を適用し、再学習の必要を回避する。
• ペア化されたReLU6活性化関数に共通の可学習パラメータ $\alpha$ を使用することで、両者が同時に削除または保持されるようにし、ブロック単位での一貫性ある統合を実現する。
• MobileNetV2 および EfficientNet-Lite のMBConvブロック全体に本手法を適用し、拡張、深度方向、およびプロジェクション層を、両方のReLU6活性化関数が削除された場合に1つの畳み込みに統合する。
• 特にインライン層並列性が高いアクセラレーターやGPUにおいて顕著な利点をもたらす、ハードウェアに配慮したレイテンシ最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの深層ニューラルネットワークを、非線形活性化関数を削除することで、顕著な精度低下を伴わずより浅い形に変換可能か？
• RQ2 あるタスクにおける性能を維持するための最小深さ（効果的非線形性度、EDNL）は何か？ また、異なるアーキテクチャ間で一貫性があるか？
• RQ3 連続する畳み込み層の間に存在する中間ReLU6活性化関数を削除することで、層の機能的統合が可能になり、エッジデバイスでのレイテンシ低減が達成できるか？
• RQ4 本手法であるLayer Foldingは、既存のプルーニングや再パラメータ化技術と比較して、効率性と精度のトレードオフにおいて優れているか？
• RQ5 本手法は、MobileNetV2 や EfficientNet-Lite といった最先端のモバイルアーキテクチャに効果的に適用可能であり、FLOPsの増加を最小限に抑えながら、高速な推論を実現できるか？

主な発見

• Layer Foldingは、ImageNet分類タスクにおいて、最大25%の推論レイテンシ削減を達成し、特に MobileNetV2-1.0 および MobileNetV2-1.4 で顕著な向上が見られた。
• MobileNetV2-0.75 よりも1.2%高いトップ-1精度を達成しながら14%速く、効率性と精度のトレードオフが向上している。
• MobileNetV2-1.4 では、レイテンシが19%削減され、FLOPsが3%減少し、精度低下はたった0.5%にとどまり、実用的・実装可能性に優れている。
• EfficientNet-Lite0 では、レイテンシが15%削減され、FLOPsが3%減少し、精度低下は0.5%にとどまり、アーキテクチャを問わず広範な適用性を示している。
• 拡張係数 $t=6$ のブロックにおいて、両方のReLU6活性化関数を削除することで、MBConvブロック全体を統合し、計算負荷を半分に削減できる。
• 本手法により、FLOPsが若干増加する場合（例：$c \gg 9$ の場合）でも、層間のオーバーヘッドが大幅に削減され、ハードウェアアクセラレーターではネットレイテンシの向上が達成できる。