[논문 리뷰] Gated Channel Transformation for Visual Recognition

Zongxin Yang, Linchao Zhu외 2명|arXiv (Cornell University)|2019. 09. 25.

Advanced Neural Network Applications참고 문헌 43인용 수 7

한 줄 요약

이 논문은 $β$-정규화된 특징 맵과 학습 가능한 게이팅 가중치를 사용하여 CNN 내 채널 간 관계를 모델링하는 경량이며 파rameter 효율적인 모듈인 게이팅 채널 변환(Gated Channel Transformation, GCT)을 제안한다. $β$-노름 정규화와 $1 + \tanh(x)$ 게이팅 메커니즘을 결합함으로써 GCT는 경쟁적이고 협력적인 채널 동역학을 모두 가능하게 하여, 계산 비용을 최소화하면서도 이미지 분류, 객체 검출, 영상 인식 분야에서 최고 성능을 달성한다.

ABSTRACT

In this work, we propose a generally applicable transformation unit for visual recognition with deep convolutional neural networks. This transformation explicitly models channel relationships with explainable control variables. These variables determine the neuron behaviors of competition or cooperation, and they are jointly optimized with the convolutional weight towards more accurate recognition. In Squeeze-and-Excitation (SE) Networks, the channel relationships are implicitly learned by fully connected layers, and the SE block is integrated at the block-level. We instead introduce a channel normalization layer to reduce the number of parameters and computational complexity. This lightweight layer incorporates a simple l2 normalization, enabling our transformation unit applicable to operator-level without much increase of additional parameters. Extensive experiments demonstrate the effectiveness of our unit with clear margins on many vision tasks, i.e., image classification on ImageNet, object detection and instance segmentation on COCO, video classification on Kinetics.

연구 동기 및 목표

• 완전 연결 층에 의존하고 파rameter 수가 많아 넓은 배포에 어려움을 겪는 Squeeze-and-Excitation(SE) 모듈의 한계를 해결하기 위해.
• 깊은 CNN에서 채널 간 경쟁과 협력을 명시적으로 제어할 수 있는 가벼운, 해석 가능한 채널 변환 단위를 설계하기 위해.
• SE의 시그모이드 게이팅을 잔차형 $1 + \tanh(x)$ 활성화 함수로 대체하고 $\ell_2$ 정규화를 사용하여 효율적인 특징 조절을 통해 모델 일반화 능력 향상과 학습 안정성 향상을 도모하기 위해.
• 추가 파arameter와 계산 비용을 최소화하여 채널 주의 메커니즘을 연산자 수준에서 구현 가능하게 하기 위해.

제안 방법

• GCT는 SE 블록 내 완전 연결 층을 경량화된 $\ell_2$ 정규화 층으로 대체하여 파arameter 수와 계산 복잡도를 감소시킨다.
• 정규화된 특징의 크기와 오프셋을 제어하기 위해 학습 가능한 채널별 스케일링 파aram터 $\gamma$와 학습 가능한 이동 파aram터 $\beta$를 도입한다.
• 정규화된 특징의 안정성과 학습 안정성을 향상시키기 위해 $1 + \tanh(x)$를 사용하여 신호의 항등 맵핑을 가능하게 하며, 시그모이드 기반 주의 메커니즘에서 흔히 발생하는 기울기 소실 문제를 방지한다.
• 배치 정규화 이후와 같은 연산자 수준에 적용되어 ResNet 및 Inception과 같은 다양한 CNN 아키텍처에 탄력적으로 통합될 수 있다.
• 정규화 구성 요소는 채널별로 $\ell_2$-정규화된 특징을 계산하여 채널 간 관계를 안정적이고 효율적으로 계산할 수 있도록 한다.
• 최종 출력은 $\text{GCT}(x) = \gamma \cdot \frac{x}{\|x\|_2} + \beta $ 로 표현되며, 여기서 $\gamma$와 $\beta$는 학습 가능한 파aram터이다.

실험 결과

연구 질문

• RQ1 SE 블록 내 완전 연결 층을 대체하면서도 성능을 유지하거나 향상시킬 수 있는 가벼운, 파arameter 효율적인 채널 주의 모듈을 설계할 수 있는가?
• RQ2 완전 연결 층 대신 $\ell_2$ 정규화를 사용할 경우, 학습 안정성 향상과 계산 비용 감소에 기여하는가?
• RQ3 $1 + \tanh(x)$ 게이팅 메커니즘이 시그모이드 기반 주의 메커니즘보다 학습 역학에서 더 나은 성능을 보이는가?
• RQ4 GCT는 다양한 네트워크 깊이에서 채널 간 경쟁과 협력을 적절히 모델링하는가?
• RQ5 CNN 아키텍처에서 GCT 모듈을 최적의 성능 향상을 위해 어디에 배치해야 하는가?

주요 결과

• GCT는 ResNet-50 기반으로 ImageNet에서 상위-1 정확도 23.7%를 달성하여 기준 ResNet-50(23.8%)를 뛰어넘고, 파arameter 수가 훨씬 적은 상황에서 SE 성능을 매칭하거나 초월한다.
• GCT 내 $\ell_2$-노름 정규화는 $\ell_1$-노름 및 평균/분산 정규화보다 더 효과적이며, $\ell_2$가 가장 높은 성능과 계산 효율성을 확보한다.
• $1 + \tanh(x)$ 게이팅 메커니즘은 시그모이드 및 ReLU 기반 대안보다 성능이 뛰어나며, 학습 안정성 향상과 성능 향상을 입증한다.
• GCT는 浅층에서 특징 분산을 감소시켜 협력적 행동을 장려하고, 깊은 층에서는 분산을 증가시켜 경쟁적 행동을 촉진함으로써 네트워크의 계층적 특징 학습 과정과 부합한다.
• 합성곱 레이어 이전에 GCT를 적용하는 것이 배치 정규화 이후에 적용하는 것보다 더 높은 성능을 보이며, 최적의 배포 전략을 확인한다.
• 광범위한 아블레이션 연구를 통해 정규화 및 적응 구성 요소가 모두 필수적임을 입증하였으며, $\ell_2$ 정규화와 $1 + \tanh$ 게이팅이 성능 향상에 가장 기여한다.