[論文レビュー] An Empirical Study of Adder Neural Networks for Object Detection

Xinghao Chen, Chang Xu+3 more|arXiv (Cornell University)|Dec 27, 2021

Advanced Neural Network Applications被引用数 10

ひとこと要約

本稿では、物体検出におけるアドナーニューラルネットワーク（AdderNets）の実験的検討を提示し、精度と特徴量スパarsityの課題を克服するための新しいトレーニング戦略およびアーキテクチャを提案する。バッチ正規化統計をアンフリークにすることで、特徴量のばらつきとトレーニング安定性が向上し、逆順マルチスケール特徴量統合モジュール（R-PAFPN）を導入することで、アドナーファイナル・FCOSはCOCOで37.8%のmAPを達成し、畳み込み型アーキテクチャと比較して約1.4倍のエネルギー削減を実現した。

ABSTRACT

Adder neural networks (AdderNets) have shown impressive performance on image classification with only addition operations, which are more energy efficient than traditional convolutional neural networks built with multiplications. Compared with classification, there is a strong demand on reducing the energy consumption of modern object detectors via AdderNets for real-world applications such as autonomous driving and face detection. In this paper, we present an empirical study of AdderNets for object detection. We first reveal that the batch normalization statistics in the pre-trained adder backbone should not be frozen, since the relatively large feature variance of AdderNets. Moreover, we insert more shortcut connections in the neck part and design a new feature fusion architecture for avoiding the sparse features of adder layers. We present extensive ablation studies to explore several design choices of adder detectors. Comparisons with state-of-the-arts are conducted on COCO and PASCAL VOC benchmarks. Specifically, the proposed Adder FCOS achieves a 37.8\% AP on the COCO val set, demonstrating comparable performance to that of the convolutional counterpart with an about $1.4 imes$ energy reduction.

研究の動機と目的

• 物体認識よりも複雑なタスクである物体検出におけるアドナーニューラルネットワークの実現可能性と性能を調査すること。
• フィルタ感度と特徴量スパarsityのため、標準的なファインチューニング戦略が失敗する物体検出タスクにおけるAdderNetsのトレーニング課題に対処すること。
• アドナーレイヤーに内在するスパースな活性化パターンを補償するためのアーキテクチャ的変更を検討すること。
• 自律走行やモバイルビジョンなどの実世界応用において、良好な精度-エネルギートレードオフを達成すること。
• 特にバッチ正規化と特徴量統合に関して、Adderベースの検出器のトレーニングおよび設計におけるベストプラクティスを確立すること。

提案手法

• 事前学習済みアドナーバックボーンにおけるバッチ正規化統計をアンフリークにすることで、特徴量のばらつきとトレーニング安定性を向上させること。
• ネックモジュールに追加のショートカット接続を導入することで、特徴量伝搬を強化し、スパースな活性化を緩和すること。
• 高レベルのスパース特徴量をより効果的に処理できるように、逆順序で特徴量を統合する新しい逆順マルチスケール特徴量統合モジュール（R-PAFPN）を設計すること。
• バックボーンおよびネックにおける畳み込み層をアドナーフィルタに置き換えることで、乗算を排除し、エネルギー消費を削減すること。
• アドナーベースのコンponentsを用いて、標準的な物体検出フレームワーク（例：FCOS、RetinaNet）で検出器をトレーニングするが、予測ヘッドは畳み込み層のままにすること。
• バッチサイズ、正規化戦略、アーキテクチャ的コンponentsに関する広範なアブレーションスタディを実施し、性能最適化を図ること。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みアドナーバックボーンでバッチ正規化統計を凍結すると検出性能が低下する理由は何か？また、ファインチューニングの最適戦略は何か？
• RQ2 バッチサイズと正規化統計は、アドナーベースの検出器のトレーニングダイナミクスと最終的な精度にどのように影響するか？
• RQ3 追加のスカイプ接続や新しい統合モジュールといったアーキテクチャ的変更は、アドナーレイヤーに内在するスパースな特徴表現を効果的に補償できるか？
• RQ4 アドナーベースの検出器は、顕著なエネルギー削減を達成しつつ、畳み込み型検出器と同等の精度にまで到達できるか？
• RQ5 予測ヘッドの畳み込み層をアドナーフィルタに置き換えると、性能にどのようなトレードオフが生じるか？

主な発見

• 事前学習済みアドナーバックボーンでバッチ正規化統計をアンフリークにすることで、標準的な実装とは対照的に顕著な性能向上が得られた。
• 提案されたR-PAFPNモジュールは、アドナーレイヤー由来のスパース特徴量の影響を効果的に緩和し、ネックにおける特徴表現を向上させた。
• アドナーファイナル・FCOSはCOCOのval2017で37.8%のmAPを達成し、RetinaNetなどの最先端の畳み込み型検出器と同等の精度を実現しながら、エネルギーコストを約1.4倍削減した。
• バックボーンとネックの両方を置き換えたアドナーファイナル・FCOS B+Nは37.0%のmAPを達成し、さらに乗算回数を削減し、優れたエネルギー効率を示した。
• より小さな入力サイズ（例：736×512）では、アドナーファイナル・RTはエネルギーコストを344.4から244.4に削減したが、mAPはベースラインと比較してわずか1.3%低下した。
• 予測ヘッドの畳み込み層をアドナーフィルタに置き換えると、顕著な精度低下が生じた。これは、現在のアドナーヘッドが高精度検出にはまだ適していないことを示している。