[論文レビュー] Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation

Jingyu Zhao, Yanwen Fang+1 more|arXiv (Cornell University)|Oct 22, 2021

Advanced Neural Network Applications参考文献 61被引用数 12

ひとこと要約

本稿では、パラメータ共有の再帰的接続を通じて、前の層からの特徴情報を再利用することにより、計算コストをほとんど増加させずに深層畳み込みニューラルネットワーク（CNN）の特徴抽出を向上させる、軽量な再帰的層結合（RLA）モジュールを提案する。RLAは、ResNet、Xception、MobileNetV2に統合された際、CIFAR、ImageNet、MS COCOのベンチマークで一貫して精度を向上させ、オブジェクト検出タスクでは2–3%の性能向上を達成する。

ABSTRACT

This paper introduces a concept of layer aggregation to describe how information from previous layers can be reused to better extract features at the current layer. While DenseNet is a typical example of the layer aggregation mechanism, its redundancy has been commonly criticized in the literature. This motivates us to propose a very light-weighted module, called recurrent layer aggregation (RLA), by making use of the sequential structure of layers in a deep CNN. Our RLA module is compatible with many mainstream deep CNNs, including ResNets, Xception and MobileNetV2, and its effectiveness is verified by our extensive experiments on image classification, object detection and instance segmentation tasks. Specifically, improvements can be uniformly observed on CIFAR, ImageNet and MS COCO datasets, and the corresponding RLA-Nets can surprisingly boost the performances by 2-3% on the object detection task. This evidences the power of our RLA module in helping main CNNs better learn structural information in images.

研究の動機と目的

• DenseNetのような密接な接続構造における冗長性と高いパラメータ数がスケーラビリティと効率性を制限する問題に対処すること。
• 深層CNNにおける特徴再利用のための再帰性を活用することで、密なスキップ接続の代替手段を探索すること。
• モデルの深さや計算複雑性を増加させることなく、層間の特徴学習を強化できる、パラメータ効率的で学習可能なモジュールを設計すること。
• RLAの有効性を、画像分類、オブジェクト検出、インスタンスセグメンテーションといった多様なアーキテクチャとタスクにわたって検証すること。
• ResNet、Xception、MobileNetV2といった既存のCNNにRLAを統合するための実証的およびアブレーションベースのガイドラインを提供すること。

提案手法

• 1x1および3x3畳み込みにおける共有重みを用いて、ネットワーク層間の順序的依存関係をモデル化する再帰的層結合（RLA）モジュールを提案する。
• 隠れ状態を前の層から集約し、現在の層にフィードバックする再帰的更新メカニズムを導入し、展開されたRNNに類似した挙動を実現する。
• 深さにわたる重み共有を採用することで、パラメータ数がネットワークの深さに依存しないようにし、効率性を維持する。
• 主なCNNからRLAパスに特徴を渡す際、グローバル平均プーリングを回避することで、空間情報を保持するように設計する。
• 主なアーキテクチャを変更せずに、ResNet、Xception、MobileNetV2といった既存のCNNにRLAをプラグインモジュールとして統合する。
• RLAモジュールが主なCNNとは異なる表現を学習するよう促すために、共有ラグパターン（式9）を採用する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNにおける以前の層からの特徴を効率的に集約するために、再帰的メカニズムを用いることは可能であり、密接な接続と比較して冗長性を低減できるか？
• RQ2 RLAモジュールにおける重み共有は、パラメータ数を削減し、一般化性能を向上させるのに寄与するか？
• RQ3 SEやECAのような既存のアテンション機構と比較して、RLAは精度と計算コストの両面で優れているか？
• RQ4 ResNet、MobileNetV2、Xceptionなどの異なるCNNアーキテクチャに、RLAを普遍的に適用可能であり、一貫した性能向上が得られるか？
• RQ5 重み共有は、主なCNNに対するRLAモジュールの機能的多様性にどのような影響を及ぼし、全体のモデル性能を向上させるか？

主な発見

• ResNet-50に適用した場合、RLAモジュールはトップ-1精度を0.10%向上させるとともに、パラメータ数を2%削減する。
• MS COCOでは、RLA-Netsがオブジェクト検出で2–3%高い平均精度を達成し、最先端のモデルを顕著に上回る。
• ResNet-50にRLAを追加すると、評価時間は2.8%増加するが、学習時間は26%増加にとどまり、計算コストの増加が小さいことが示された。
• CIFAR-10では、RLA-ResNet-164はトップ-1精度95.05%を達成し、非共有バージョンよりも0.22%高い精度で、1.90Mパラメータを用いた。
• アブレーションスタディにより、RLAにおける重み共有がより良い性能と低いパラメータ数をもたらすことが確認され、共有ラグパターンのインダクティブバイアスが妥当であることが検証された。
• RLAはResNet、Xception、MobileNetV2を含む複数のアーキテクチャと互換性があり、画像分類、オブジェクト検出、インスタンスセグメンテーションの各タスクで一貫して性能を向上させる。