[논문 리뷰] Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation

Jingyu Zhao, Yanwen Fang외 1명|arXiv (Cornell University)|2021. 10. 22.

Advanced Neural Network Applications참고 문헌 61인용 수 12

한 줄 요약

이 논문은 깊이 있는 CNN에서 이전 레이어의 특징 정보를 파라미터 공유된 순환 연결을 통해 재사용함으로써 계산 비용을 크게 증가시키지 않고도 특징 추출 성능을 향상시키는 경량 순환 레이어 집합(Recurrent Layer Aggregation, RLA) 모듈을 제안한다. RLA는 ResNet, Xception, MobileNetV2에 통합되었을 때 CIFAR, ImageNet, MS COCO 벤치마크에서 일관되게 정확도를 향상시키며, 객체 검출 작업에서 성능을 2–3% 향상시킨다.

ABSTRACT

This paper introduces a concept of layer aggregation to describe how information from previous layers can be reused to better extract features at the current layer. While DenseNet is a typical example of the layer aggregation mechanism, its redundancy has been commonly criticized in the literature. This motivates us to propose a very light-weighted module, called recurrent layer aggregation (RLA), by making use of the sequential structure of layers in a deep CNN. Our RLA module is compatible with many mainstream deep CNNs, including ResNets, Xception and MobileNetV2, and its effectiveness is verified by our extensive experiments on image classification, object detection and instance segmentation tasks. Specifically, improvements can be uniformly observed on CIFAR, ImageNet and MS COCO datasets, and the corresponding RLA-Nets can surprisingly boost the performances by 2-3% on the object detection task. This evidences the power of our RLA module in helping main CNNs better learn structural information in images.

연구 동기 및 목표

• DenseNet과 같은 밀집 연결 기반 기법에서 발생하는 중복성과 높은 파라미터 수 문제로 인한 확장성 및 효율성의 제약를 해결하기 위해.
• 깊이 있는 CNN에서 특징 재사용을 위해 순환성을 활용함으로써 밀집 스킵 연결의 더 효율적인 대안을 탐색하기 위해.
• 모델의 깊이나 계산 복잡도를 증가시키지 않으면서도 레이어 간 특징 학습을 향상시키는 파라미터 효율적이고 학습 가능한 모듈을 설계하기 위해.
• RLA의 효과성을 다양한 아키텍처와 작업(이미지 분류, 객체 검출, 인스턴스 세그멘테이션)에 걸쳐 검증하기 위해.
• ResNet, Xception, MobileNetV2와 같은 기존 CNN에 RLA를 통합하기 위한 경험적 및 아블레이션 기반 지침을 제공하기 위해.

제안 방법

• 1x1 및 3x3 컨벌루션에서 공유된 가중치를 사용하여 네트워크 레이어 간 순차적 의존성을 모델링하는 순환 레이어 집합(RLA) 모듈을 제안한다.
• 이전 레이어의 은닉 상태를 집계하여 현재 레이어로 피드백하는 순환 업데이트 메커니즘을 도입함으로써, 전개된 RNN과 유사한 동작을 구현한다.
• 깊이에 관계없이 파라미터를 공유함으로써 파라미터 수가 네트워크 깊이에 영향을 받지 않도록 하여 효율성을 유지한다.
• 메인 CNN에서 RLA 경로로 특징을 전달할 때 전역 평균 풀링을 피하는 방식으로 공간 정보를 유지한다.
• 메인 아키텍처를 수정하지 않고 ResNet, Xception, MobileNetV2와 같은 기존 CNN에 RLA를 플러그인 모듈로 통합한다.
• RLA 모듈이 메인 CNN와 다른 표현을 학습하도록 유도하기 위해 공유 지연 패턴(Eq. 9)을 사용한다.

실험 결과

연구 질문

• RQ1 깊이 있는 CNN에서 이전 레이어의 특징을 효율적으로 집계하기 위해 순환 메커니즘을 사용할 수 있는가? 이는 밀집 연결 대비 중복성을 줄이는 데 효과적인가?
• RQ2 RLA 모듈에서의 파라미터 공유가 성능을 유지하거나 향상시키면서도 파라미터 수를 감소시키고 일반화 성능을 향상시키는가?
• RQ3 SE 및 ECA와 같은 기존의 주의 메커니즘과 비교할 때 RLA는 정확도와 계산 비용 측면에서 어떤가?
• RQ4 ResNet, MobileNetV2, Xception와 같은 다양한 CNN 아키텍처에 대해 RLA를 일반적으로 적용할 수 있으며, 일관된 성능 향상을 이끌 수 있는가?
• RQ5 파라미터 공유가 RLA 모듈의 기능적 다양성에 미치는 영향은 무엇이며, 이는 전체 모델 성능 향상에 기여하는가?

주요 결과

• ResNet-50에 RLA를 적용했을 때, 공유되지 않은 변종 대비 ImageNet에서 정확도는 0.10% 향상되고 파라미터 수는 2% 감소한다.
• MS COCO에서 RLA-Nets는 객체 검출 평균 정밀도에서 2–3% 높은 성능을 기록하며, 최신 기술 모델을 크게 능가한다.
• ResNet-50에 RLA를 추가했을 때 평가 시간은 오직 2.8% 증가하고, 학습 시간은 26% 증가하여 계산 오버헤드가 매우 낮음을 확인한다.
• CIFAR-10에서 RLA-ResNet-164는 1.74M 파라미터로 95.05%의 top-1 정확도를 달성하며, 공유되지 않은 변종 대비 0.22% 높은 정확도와 1.90M 파라미터를 사용한다.
• 아블레이션 연구 결과, RLA에서의 파라미터 공유가 더 높은 성능과 낮은 파라미터 수를 이끌어내며, 공유 지연 패턴의 인덕티브 바이어스가 검증된다.
• RLA는 ResNet, Xception, MobileNetV2를 포함한 다양한 아키텍처와 호환되며, 이미지 분류, 객체 검출, 인스턴스 세그멘테이션 작업 전반에서 일관되게 성능 향상을 이룬다.