[논문 리뷰] Learning Features with Parameter-Free Layers

Dongyoon Han, Youngjoon Yoo외 2명|arXiv (Cornell University)|2022. 02. 06.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 깊이 신경망의 핵심 구성 요소로 훈련 가능한 컨볼루션 레이어 대신 파라미터가 없는 연산인 max-pool 및 avg-pool을 도입함으로써 모델의 속도와 효율성을 향상시키되 정확도를 유지하는 방법을 제안한다. 이러한 설계는 추론 속도를 높이고 FLOPs 및 파라미터 수를 감소시키며, ImageNet 및 COCO 벤치마크에서 최신 기술 수준의 성능을 보여주어 속도와 강건성 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Trainable layers such as convolutional building blocks are the standard network design choices by learning parameters to capture the global context through successive spatial operations. When designing an efficient network, trainable layers such as the depthwise convolution is the source of efficiency in the number of parameters and FLOPs, but there was little improvement to the model speed in practice. This paper argues that simple built-in parameter-free operations can be a favorable alternative to the efficient trainable layers replacing spatial operations in a network architecture. We aim to break the stereotype of organizing the spatial operations of building blocks into trainable layers. Extensive experimental analyses based on layer-level studies with fully-trained models and neural architecture searches are provided to investigate whether parameter-free operations such as the max-pool are functional. The studies eventually give us a simple yet effective idea for redesigning network architectures, where the parameter-free operations are heavily used as the main building block without sacrificing the model accuracy as much. Experimental results on the ImageNet dataset demonstrate that the network architectures with parameter-free operations could enjoy the advantages of further efficiency in terms of model speed, the number of the parameters, and FLOPs. Code and ImageNet pretrained models are available at https://github.com/naver-ai/PfLayer.

연구 동기 및 목표

• max-pool 및 avg-pool과 같은 파라미터가 없는 연산이 깊이 신경망의 주요 구성 요소로 훈련 가능한 레이어를 대체할 수 있는지 조사하기 위해.
• 파라미터가 없는 연산을 활용한 효율적인 아키텍처를 설계하기 위한 설계 원칙을 도출하기 위해.
• 파라미터가 없는 연산이 컨volutional 네트워크와 비전 트랜스포머 양쪽 모두에서 효과적으로 기능하는지 평가하기 위해.
• 이러한 연산이 계산 비용을 줄이고 모델의 속도와 강건성을 향상시키는지 입증하기 위해.
• 새로운 변형 가능한 파라미터가 없는 연산의 잠재력을 탐색하고, 자기주의 메커니즘을 대체할 수 있는지 조사하기 위해.

제안 방법

• 저자는 잔차 블록 내에서 표준 컨볼루션 레이어를 max-pool 및 avg-pool 연산으로 대체하여 주로 공간 연산으로 사용한다.
• 훈련된 모델을 대상으로 광범위한 추상화 연구를 수행하고, 파라미터가 없는 연산을 사용한 최적의 아키텍처를 도출하기 위해 신경망 아키텍처 탐색(NAS)을 수행한다.
• 새로운 변형 가능한 max-pool 연산을 도입하여, 공간 오프셋을 학습함으로써 특징 표현을 향상시키되, 여전히 파라미터가 없는 상태를 유지한다.
• 이 방법은 ResNet 기반 CNN과 비전 트랜스포머(ViT, PiT) 양쪽 모두에 적용되며, self-attention 또는 피드포워드 레이어를 max-pooling으로 대체한다.
• ImageNet에서 표준 데이터 증강 기법을 사용해 훈련을 수행하고, 객체 검출을 위해 COCO에서 미세조정을 실시한다.
• 추론 속도 평가를 위해 초당 처리 가능한 이미지 수를 측정하며, FLOPs, 파라미터 수, 정확도를 효율성 측정 지표로 사용한다.

실험 결과

연구 질문

• RQ1 max-pool 및 avg-pool과 같은 파라미터가 없는 연산이 깊이 신경망의 주요 구성 요소로 훈련 가능한 컨볼루션 레이어를 효과적으로 대체할 수 있는가?
• RQ2 파라미터가 없는 연산에 크게 의존할 경우 효율적이고 정확한 네트워크 아키텍처를 설계하기 위한 설계 원칙은 무엇인가?
• RQ3 속도, FLOPs, 정확도 측면에서 파라미터가 없는 연산과 깊이 분리 컨볼루션 간의 성능 비교는 어떻게 되는가?
• RQ4 파라미터가 없는 연산은 비전 트랜스포머에 성공적으로 적용될 수 있는가? 특히 self-attention 메커니즘을 대체할 수 있는가?
• RQ5 ImageNet-C 및 ImageNet-O에서 분포 이탈에 대한 모델의 강건성이 파라미터가 없는 연산을 사용할 경우 향상되는가?

주요 결과

• 파라미터가 없는 연산을 사용한 모델은 깊이 분리 컨볼루션 기반 모델보다 더 빠른 추론 속도를 보이며, ViT-S에서 최대 48% 높은 처리량을 기록한다.
• ImageNet에서 max-pool 기반 ResNet50는 75.3%의 top-1 정확도를 기록했으며, 181.8 GFLOPs 및 175.8M 파라미터를 사용하여 기준 모델 대비 빠른 속도를 확보했다.
• 변형 가능한 max-pool 연산은 ImageNet 정확도가 낮음에도 불구하고 COCO 객체 검출 AP를 ResNet50 대비 0.3점 향상시켰다.
• max-pool 연산을 사용한 비전 트랜스포머 모델은 깊이 분리 컨볼루션 기반 모델과 비교해 유사하거나 더 높은 정확도를 기록했으며, 상당히 향상된 처리량을 확보했다.
• 파라미터가 없는 연산을 사용한 모델은 ImageNet-C 및 ImageNet-O에서 개선된 강건성을 보이며, 과적합이 감소한 것으로 나타났다.
• max-pool 기반 ViT-S 모델은 CutMix 및 DeiT 증강 기법을 사용해 80.6%의 top-1 정확도를 기록했으며, 기준 ViT-S 대비 1.7점 높은 성능을 보였다.