Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Conformer: Local Features Coupling Global Representations for Visual Recognition

Zhiliang Peng, Wei Huang|arXiv (Cornell University)|2021. 05. 09.
Advanced Neural Network Applications인용 수 11
한 줄 요약

이 논문은 복합 신경망(CNN)의 局소적 특징과 비전 트랜스포머(ViT)의 전역적 표현을 새로운 특징 결합 유닛(FCU)을 통해 융합하는 Conformer를 제안한다. 다단계에서 상호작용적이고 이원적인 특징 융합을 가능하게 함으로써, 동일한 파rameter 및 FLOP 예산 내에서 최신 기술(SOTA) 성능을 달성하며, ImageNet에서 DeiT-B보다 2.3% 높고, MSCOCO에서 객체 검출 및 인스턴스 세그멘테이션에서 ResNet-101보다 각각 3.7%와 3.6% 높은 성능을 기록한다.

ABSTRACT

Within Convolutional Neural Network (CNN), the convolution operations are good at extracting local features but experience difficulty to capture global representations. Within visual transformer, the cascaded self-attention modules can capture long-distance feature dependencies but unfortunately deteriorate local feature details. In this paper, we propose a hybrid network structure, termed Conformer, to take advantage of convolutional operations and self-attention mechanisms for enhanced representation learning. Conformer roots in the Feature Coupling Unit (FCU), which fuses local features and global representations under different resolutions in an interactive fashion. Conformer adopts a concurrent structure so that local features and global representations are retained to the maximum extent. Experiments show that Conformer, under the comparable parameter complexity, outperforms the visual transformer (DeiT-B) by 2.3% on ImageNet. On MSCOCO, it outperforms ResNet-101 by 3.7% and 3.6% mAPs for object detection and instance segmentation, respectively, demonstrating the great potential to be a general backbone network. Code is available at https://github.com/pengzhiliang/Conformer.

연구 동기 및 목표

  • CNN이 장거리 의존성을 포착하는 데에 한계가 있고, ViT가 국소적 세부 정보를 상실한다는 점을 해결하기 위해, 두 아키텍처의 강점을 융합하고자 한다.
  • 국소적 분류 특징과 전역적 맥락 표현을 모두 유지하는 통합 백본 네트워크를 개발하고자 한다.
  • 다른 해상도와 모odal 간의 특징을 상당한 계산 부담 없이 학습 가능한 상호작용적 융합 메커니즘을 설계하고자 한다.
  • 특징 융합을 통한 CNN 및 ViT 브랜치의 공동 학습이 일반화 능력과 강건성 향상에 기여함을 입증하고자 한다.

제안 방법

  • Conformer는 ResNet에 영향을 받은 CNN 브랜치와 ViT에 영향을 받은 트랜스포머 브랜치를 동시에 사용하는 이중 브랜치 아키텍처를 채택하며, 교차 엔트로피 손실을 통한 엔드 투 엔드 학습을 수행한다.
  • 특징 결합 유닛(FCU)은 1×1 컨볼루션을 통한 채널 차원 정렬, 업샘플링 및 다운샘플링을 통한 공간 해상도 정렬, LayerNorm 및 배치 정규화를 통한 특징 통계 정렬을 통해 이원적 특징 융합을 가능하게 한다.
  • 모든 블록 이후에 FCU를 삽입하여, 상호작용적 정밀 조정을 통해 CNN 및 ViT 특징 간의 의미적 차이를 반복적으로 감소시킨다.
  • FCU 내의 공간 정렬은 정확도와 효율성을 균형 잡기 위해 최소 거리 인터폴레이션을 사용한 업샘플링과 평균 풀링을 사용한 다운샘플링을 적용한다.
  • CNN 브랜치에는 공간적 위치에 대한 내재된 인덕티브 바이어스가 존재하므로 위치 임베딩을 생략하여 중복을 줄인다.
  • 표준 데이터 증강 및 정규화 기법을 사용하여 모델을 학습시키며, 회전 또는 스케일된 입력에 대해 미세조정 없이 추론을 수행하여 강건성을 평가한다.
Figure 2: Network architecture of the proposed Conformer. (a) Up-sampling and down-sampling for spatial alignment of feature maps and patch embeddings. (b) Implementation details of the CNN block, the transformer block, and the Feature Coupling Unit (FCU). (c) Thumbnail of Conformer.
Figure 2: Network architecture of the proposed Conformer. (a) Up-sampling and down-sampling for spatial alignment of feature maps and patch embeddings. (b) Implementation details of the CNN block, the transformer block, and the Feature Coupling Unit (FCU). (c) Thumbnail of Conformer.

실험 결과

연구 질문

  • RQ1CNN과 ViT 아키텍처를 융합한 이중 브랜치 네트워크가 단독으로 사용할 경우보다 더 나은 시각적 표현 학습을 달성할 수 있는가?
  • RQ2CNN의 국소적 특징과 자기주의 주목 기반 전역 표현을 상당한 계산 비용 없이 효과적으로 융합할 수 있는가?
  • RQ3CNN 및 ViT 브랜치 간의 상호작용적이고 다단계 특징 융합이 회전 및 스케일과 같은 분포 이동 상황에서 모델의 일반화 능력을 향상시키는가?
  • RQ4제안된 아키텍처가 동일한 파라미터 및 FLOP 예산 내에서 단독 CNN 및 비전 트랜스포머를 모두 초월할 수 있는가?

주요 결과

  • Conformer-S는 ImageNet에서 83.4%의 Top-1 정확도를 기록하여, 유사한 파라미터 수에서 DeiT-S(79.8%)와 ResNet-101(80.6%)를 모두 앞선다.
  • MSCOCO에서 Conformer-S는 객체 검출에서 ResNet-101보다 3.7% 높은 mAP를 기록했고, 인스턴스 세그멘테이션에서는 3.6% 높았다.
  • DeiT-S와 ResNet-101의 앙상블은 훨씬 더 많은 파라미터와 FLOPs를 사용했음에도 불구하고 정확도가 81.8%에 그쳐 Conformer-S(83.4%)보다 1.6% 낮았다.
  • Conformer-S는 더 강한 회전 불변성 보여줌: ResNet-101은 회전된 이미지에서 정확도가 급격히 떨어지지만, Conformer는 모든 회전 각도에서 높은 성능을 유지한다.
  • Conformer는 우수한 스케일 불변성 보여줌: 입력 해상도를 224×224에서 112×112로 절반으로 줄였을 때 정확도가 10%만 감소한 반면, ResNet은 15%, DeiT-S는 25% 감소했다.
  • 제거 실험 결과, 위치 임베딩을 제거하면 DeiT-S는 2.4% 성능 저하를 겪지만, Conformer-S는 오직 0.1%의 미미한 감소만 보이며, CNN의 인덕티브 바이어스로 인해 위치 인코딩 의존도가 감소함을 시사한다.
Figure 3: Structure analysis. $C_{n}$ and $T_{r}$ respectively denote a bottleneck and a transformer block. (a) The dual structure can be considered as a special serial case of the residual structure. (b) The CNN ( $e.g.$ , ResNet); (c) A special hybrid structure where the transformer block is embed
Figure 3: Structure analysis. $C_{n}$ and $T_{r}$ respectively denote a bottleneck and a transformer block. (a) The dual structure can be considered as a special serial case of the residual structure. (b) The CNN ( $e.g.$ , ResNet); (c) A special hybrid structure where the transformer block is embed

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.