[論文レビュー] Learning Features with Parameter-Free Layers

Dongyoon Han, Youngjoon Yoo+2 more|arXiv (Cornell University)|Feb 6, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文では、深層ニューラルネットワークのコアな構築ブロックとして、トレーニング可能な畳み込み層の代わりにパラメータフリーの演算（例：マックスプール、アベージプール）を導入することを提案しており、精度を損なわずにモデルの速度と効率性を向上させることを実証している。この手法により、推論速度が向上し、FLOPsとパラメータ数が削減される。ImageNetおよびCOCOベンチマークで検証され、速度と耐性の面で最先端の性能を達成している。

ABSTRACT

Trainable layers such as convolutional building blocks are the standard network design choices by learning parameters to capture the global context through successive spatial operations. When designing an efficient network, trainable layers such as the depthwise convolution is the source of efficiency in the number of parameters and FLOPs, but there was little improvement to the model speed in practice. This paper argues that simple built-in parameter-free operations can be a favorable alternative to the efficient trainable layers replacing spatial operations in a network architecture. We aim to break the stereotype of organizing the spatial operations of building blocks into trainable layers. Extensive experimental analyses based on layer-level studies with fully-trained models and neural architecture searches are provided to investigate whether parameter-free operations such as the max-pool are functional. The studies eventually give us a simple yet effective idea for redesigning network architectures, where the parameter-free operations are heavily used as the main building block without sacrificing the model accuracy as much. Experimental results on the ImageNet dataset demonstrate that the network architectures with parameter-free operations could enjoy the advantages of further efficiency in terms of model speed, the number of the parameters, and FLOPs. Code and ImageNet pretrained models are available at https://github.com/naver-ai/PfLayer.

研究の動機と目的

• トレーニング可能な畳み込み層の代わりにマックスプールやアベージプールなどのパラメータフリー演算が、深層ネットワークの主な構築ブロックとして有効に機能するかを調査すること。
• パラメータフリー演算を用いた効率的なアーキテクチャを構築するための設計の指針を確立すること。
• 畳み込みニューラルネットワークおよびビジョントランスフォーマーの両方において、パラメータフリー演算の有効性を評価すること。
• これらの演算がモデルの速度と耐性を向上させるとともに、計算コストを削減できることを示すこと。
• 新しい可変パラメータフリー演算の可能性を調査し、自己注意機構を置き換えることの有効性を検討すること。

提案手法

• 著者らは、残差ブロックにおいて標準的な畳み込み層の代わりにマックスプールおよびアベージプールを用い、空間的演算の主要な手段として採用している。
• 完全に訓練されたモデルを用いた広範なアブレーションスタディを実施し、神経アーキテクチャ探索（NAS）を用いてパラメータフリー演算を用いた最適なアーキテクチャを同定している。
• 空間オフセットを学習することで特徴表現を向上させるが、依然としてパラメータフリーのままである、新しい可変マックスプール演算が導入されている。
• この手法は、ResNetスタイルのCNNおよびビジョントランスフォーマー（ViT、PiT）に適用されており、自己注意またはフィードフォワード層の代わりにマックスプールを用いている。
• ImageNetで標準的なデータオーグメンテーションを用いて学習を行い、物体検出のためのCOCOでファインチューニングを行っている。
• 推論速度の評価には1秒あたりの画像数を用い、FLOPs、パラメータ数、精度を効率性の指標として用いている。

実験結果

リサーチクエスチョン

• RQ1 マックスプールやアベージプールなどのパラメータフリー演算が、深層ネットワークの主な構築ブロックとしてトレーニング可能な畳み込み層に効果的に置き換えられるか。
• RQ2 パラメータフリー演算に大きく依存する場合、効率的で正確なネットワークアーキテクチャを構築するための設計原則は何か。
• RQ3 パラメータフリー演算とディープワイド畳み込みとの間で、速度、FLOPs、精度の面でどのように比較されるか。
• RQ4 パラメータフリー演算はビジョントランスフォーマーに対しても効果的に適用可能か、自己注意機構を置き換えることができるか。
• RQ5 パラメータフリー演算の使用が、ImageNet-CおよびImageNet-Oで測定される分布シフトに対するモデルの耐性を向上させるか。

主な発見

• パラメータフリー演算を用いた提案モデルは、ディープワイド畳み込みベースのモデルよりも高速な推論速度を達成しており、ViT-Sでは最大48%高いスループットを示している。
• ImageNetでは、マックスプールベースのResNet50が、181.8 GFLOPsおよび175.8Mパラメータで75.3%のトップ1精度を達成し、ベースラインを速度面で上回っている。
• 可変マックスプール演算は、ImageNet精度がやや低いものの、COCO物体検出のAPをResNet50よりも0.3ポイント向上させた。
• マックスプールを用いたビジョントランスフォーマーのモデルは、ディープワイド畳み込みを用いた対応モデルと同等またはそれ以上の精度を達成しており、顕著なスループットの向上を示している。
• パラメータフリー演算を用いたモデルは、ImageNet-CおよびImageNet-Oで改善された耐性を示しており、過学習の低減が示唆されている。
• マックスプールベースのViT-Sモデルは、CutMixおよびDeiTのオーグメンテーションを用いて80.6%のトップ1精度を達成し、ベースラインのViT-Sを1.7ポイント上回っている。