[논문 리뷰] Channel Equilibrium Networks for Learning Deep Representation

Wenqi Shao, Shitao Tang외 4명|arXiv (Cornell University)|2020. 02. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 5

한 줄 요약

이 논문은 채널 평형(Channel Equilibrium, CE)을 제안한다. CE는 활성화 값이 작아 일반화 능력을 저해하는 '억제된 채널'을 완화함으로써, 컨볼루션 레이어 내 모든 채널이 동일한 기여를 하도록 강제하는 새로운 신경망 빌딩 블록이다. CE는 이원적 분해 지 branching과 인스턴스별 재가중 지 branching을 통해 학습 가능한 비상관화 메커니즘을 통합하며, 계산 비용을 최소화하면서 ImageNet 및 COCO 벤치마크에서 일반화 성능을 향상시킨다. 이로써 ResNet 및 MobileNet 변종에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Convolutional Neural Networks (CNNs) are typically constructed by stacking multiple building blocks, each of which contains a normalization layer such as batch normalization (BN) and a rectified linear function such as ReLU. However, this work shows that the combination of normalization and rectified linear function leads to inhibited channels, which have small magnitude and contribute little to the learned feature representation, impeding the generalization ability of CNNs. Unlike prior arts that simply removed the inhibited channels, we propose to "wake them up" during training by designing a novel neural building block, termed Channel Equilibrium (CE) block, which enables channels at the same layer to contribute equally to the learned representation. We show that CE is able to prevent inhibited channels both empirically and theoretically. CE has several appealing benefits. (1) It can be integrated into many advanced CNN architectures such as ResNet and MobileNet, outperforming their original networks. (2) CE has an interesting connection with the Nash Equilibrium, a well-known solution of a non-cooperative game. (3) Extensive experiments show that CE achieves state-of-the-art performance on various challenging benchmarks such as ImageNet and COCO.

연구 동기 및 목표

• 딥 신경망에서 활성화 값이 작고 표현 학습에 기여도가 낮은 '억제된 채널'이 많은 문제를 해결하기 위해.
• 일부 채널에만 의존하는 것이 아니라, 모든 채널이 동일하게 기여하도록 하여 모델의 일반화 능력을 향상시키기 위해.
• 기존 아키텍처인 ResNet 및 MobileNet과 호환되는 플러그인 형 빌딩 블록을 설계하기 위해.
• CE와 게임 이론의 나시 균형(Nash Equilibrium) 간 이론적 연결 고리를 확립하기 위해.
• 이미지 분류, 객체 검출, 인스턴스 세그멘테이션과 같은 다양한 작업에서 CE의 효과성을 입증하기 위해.

제안 방법

• CE는 배치 정규화(BN)와 같은 정규화 레이어와 ReLU와 같은 활성화 함수 사이에 삽입되며, 표준 정규화-활성화 블록을 대체한다.
• 이중적 분해(BD) 지 branching은 샘플 별로 비상관화 연산자를 계산하여 특징 채널 간 상관관계를 감소시킨다.
• 인스턴스별 재가중(IR) 지 branching은 채널 응답의 크기에 따라 적응적으로 스케일을 조정함으로써 균형 잡힌 기여를 촉진한다.
• CE 블록은 BD와 IR의 출력을 학습 가능한 변환을 통해 조합하여, 동적이고 샘플 기반의 채널 평형을 가능하게 한다.
• 표준 역전파 알고리즘을 사용해 엔드 투 엔드로 훈련되며, BN의 감마 및 베타 파라미터와 CE의 파라미터만 업데이트된다.
• 동결된 BN과 동기화된 BN 설정 모두와 호환되어 다양한 훈련 환경에서의 구현이 가능하다.

실험 결과

연구 질문

• RQ1 학습 가능한 메커니즘이 깊은 CNN에서 억제된 채널의 수를 줄이고 일반화 능력을 향상시킬 수 있는가?
• RQ2 동일한 레이어 내에서 모든 채널의 기여도를 균형 있게 만들면, 후속 작업에서 성능 향상이 이루어지는가?
• RQ3 CE 메커니즘과 게임 이론의 나시 균형 간 이론적 연결 고리가 존재하는가?
• RQ4 CE는 계산 비용을 크게 증가시키지 않고도 ResNet 및 MobileNet과 같은 다양한 아키텍처에 효과적으로 통합될 수 있는가?
• RQ5 CE는 이미지 분류를 넘어서 객체 검출 및 인스턴스 세그멘테이션과 같은 작업으로도 잘 일반화되는가?

주요 결과

• CE는 BN과 LN 대비 억제된 채널(특징 값 < 10⁻²)의 수를 크게 감소시키며, 특히 더 깊은 네트워크에서 두드러진다.
• CIFAR-10에서 CE는 테스트 오차를 줄이고 특정 채널에 대한 의존도를 감소시킴으로써 상위 1위 정확도를 향상시켰으며, 누적 제거 실험 곡선을 통해 이를 확인할 수 있었다.
• ResNet50에 적용했을 때, CE는 ImageNet에서 상위 1위 정확도를 1.7% 향상시켰으며, 원본 ResNet50+BN 및 Squeeze-and-Excitation 블록을 모두 능가했다.
• MobileNetv2에 적용했을 때, CE는 ImageNet에서 상위 1위 정확도를 2.1% 향상시켜 아키텍처 유형에 관계없이 뛰어난 일반화 능력을 보였다.
• COCO 벤치마크에서, CE-ResNet50은 객체 검출에서 2.2점, 인스턴스 세그멘테이션에서 2.7점의 AP 향상을 기록했으며, 동기화 CE는 검출에서 42.0 AP를 달성했다.
• CE 블록은 최소한의 계산 오버헤드로 다양한 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 다양한 작업과 아키텍처에서 일관된 성능 향상을 보였다.