[論文レビュー] Conformer: Local Features Coupling Global Representations for Visual Recognition

Zhiliang Peng, Wei Huang+5 more|arXiv (Cornell University)|May 9, 2021

Advanced Neural Network Applications被引用数 11

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の局所的特徴とビジョントランスフォーマー（ViT）のグローバル表現を、新規の特徴結合ユニット（FCU）を介して統合する二重ブランチ型ニューラルネットワーク、Conformerを提案する。複数段階にわたり相互に作用する双方向特徴統合を可能にすることで、同等のパラメータ数およびFLOP予算下で最先端の性能を達成し、ImageNetではDeiT-Bを2.3%、MSCOCOの物体検出およびインスタンスセグメンテーションではResNet-101をそれぞれ3.7%および3.6%上回った。

ABSTRACT

Within Convolutional Neural Network (CNN), the convolution operations are good at extracting local features but experience difficulty to capture global representations. Within visual transformer, the cascaded self-attention modules can capture long-distance feature dependencies but unfortunately deteriorate local feature details. In this paper, we propose a hybrid network structure, termed Conformer, to take advantage of convolutional operations and self-attention mechanisms for enhanced representation learning. Conformer roots in the Feature Coupling Unit (FCU), which fuses local features and global representations under different resolutions in an interactive fashion. Conformer adopts a concurrent structure so that local features and global representations are retained to the maximum extent. Experiments show that Conformer, under the comparable parameter complexity, outperforms the visual transformer (DeiT-B) by 2.3% on ImageNet. On MSCOCO, it outperforms ResNet-101 by 3.7% and 3.6% mAPs for object detection and instance segmentation, respectively, demonstrating the great potential to be a general backbone network. Code is available at https://github.com/pengzhiliang/Conformer.

研究の動機と目的

• CNNが長距離依存関係を捉える能力に欠けること、およびViTが局所的詳細を失うという限界を解消するため、両アーキテクチャの長所を統合すること。
• 局所的特徴の識別力とグローバルな文脈表現を両方保持する統合型バックボーンネットワークの開発。
• 顕著な計算コスト増加を伴わずに、異なる解像度およびモodal間の特徴を整合化できる学習可能な相互作用型統合メカニズムの設計。
• 特徴結合を介したCNNおよびViTブランチの共同学習が、分布シフト（回転やスケーリング）下でも一般化性能および耐性を向上させることの実証。

提案手法

• Conformerは、ResNetをインspiredとするCNNブランチと、ViTをインspiredとするトランスフォーマーブランチを併用する並列二重ブランチアーキテクチャを採用し、クロスエントロピーの監視のもとでエンドツーエンドで学習する。
• 特徴結合ユニット（FCU）は、1×1畳み込みによるチャネル次元の整合、アップサンプリングおよびダウンサンプリングによる空間解像度の整合、およびLayerNormとBatchNormによる特徴統計の整合を通じて、双方向の特徴統合を可能にする。
• FCUは両ブランチの各ブロックの後に挿入され、相互に特徴を精錬することで、CNNとViTの特徴間の意味的乖離を段階的に低減する。
• FCUにおける空間整合には、精度と効率のバランスを考慮し、アップサンプリングには最近傍補間、ダウンサンプリングには平均プーリングを用いる。
• CNNブランチでは、空間的位置に内在するインダクティブバイアスのため、位置埋め込みを省略する。これにより冗長性が低減される。
• 標準的なデータ拡張および正則化を用いてモデルを学習し、回転やスケーリングされた入力に対して微調整なしに推論を実施することで、耐性を評価する。

Figure 2: Network architecture of the proposed Conformer. (a) Up-sampling and down-sampling for spatial alignment of feature maps and patch embeddings. (b) Implementation details of the CNN block, the transformer block, and the Feature Coupling Unit (FCU). (c) Thumbnail of Conformer.

実験結果

リサーチクエスチョン

• RQ1 CNNとViTアーキテクチャを統合した二重ブランチ型ネットワークが、単独のCNNやViTよりも優れた視覚的表現学習を達成できるか？
• RQ2 CNNの局所的特徴と自己注意機構によるグローバル表現を、顕著な計算コストを増加させずに効果的に統合できるか？
• RQ3 CNNとViTブランチ間のインタラクティブでマルチステージの特徴結合が、回転やスケーリングといった分布シフト下でもモデルの一般化性能を向上させるか？
• RQ4 提案されたアーキテクチャが、同等のパラメータ数およびFLOP予算下で、単独のCNNおよびビジョントランスフォーマーを上回る性能を示せるか？

主な発見

• Conformer-SはImageNetでトップ1正答率83.4%を達成し、同等のパラメータ数下でDeiT-S（79.8%）およびResNet-101（80.6%）を上回った。
• MSCOCOでは、Conformer-Sは物体検出で3.7%、インスタンスセグメンテーションで3.6%のmAP向上を達成し、ResNet-101を上回った。
• DeiT-SとResNet-101のアンサンブルは、顕著に多くのパラメータとFLOPsを要するにもかかわらず、81.8%の正答率にとどまり、Conformer-S（83.4%）より1.6%低い。
• Conformer-Sは回転不変性が強く、回転された画像ではResNet-101が正答率を急激に低下させる一方、Conformerは全回転角度で高い性能を維持した。
• Conformerは優れたスケール不変性を示した—入力解像度を224×224から112×112に半分にした際、正答率の低下は10%にとどまり、ResNetでは15%、DeiT-Sでは25%に達した。
• アブレーションスタディの結果、位置埋め込みを削除するとDeiT-Sは2.4%の性能低下を示したが、Conformer-Sではわずか0.1%の低下にとどまり、CNNのインダクティブバイアスのおかげで位置符号依存性が低減していることが示された。

Figure 3: Structure analysis. $C_{n}$ and $T_{r}$ respectively denote a bottleneck and a transformer block. (a) The dual structure can be considered as a special serial case of the residual structure. (b) The CNN ( $e.g.$ , ResNet); (c) A special hybrid structure where the transformer block is embed