[논문 리뷰] Training CNNs with Selective Allocation of Channels

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|2019. 05. 24.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 파rameter를 동적으로 중요한 채널에 재할당함으로써 모델 용량을 증가시키면서도 파라미터 수를 늘리지 않는 새로운 컨볼루션 레이어를 제안한다. 다양한 아키텍처와 데이터셋에서의 실험을 통해 기존 자원을 효율적으로 활용함으로써 더 나은 일반화 성능을 달성함을 보여준다.

ABSTRACT

Recent progress in deep convolutional neural networks (CNNs) have enabled a simple paradigm of architecture design: larger models typically achieve better accuracy. Due to this, in modern CNN architectures, it becomes more important to design models that generalize well under certain resource constraints, e.g. the number of parameters. In this paper, we propose a simple way to improve the capacity of any CNN model having large-scale features, without adding more parameters. In particular, we modify a standard convolutional layer to have a new functionality of channel-selectivity, so that the layer is trained to select important channels to re-distribute their parameters. Our experimental results under various CNN architectures and datasets demonstrate that the proposed new convolutional layer allows new optima that generalize better via efficient resource utilization, compared to the baseline.

연구 동기 및 목표

• 엄격한 파라미터 제약 조건 하에서 CNN 성능을 향상시키는 데 도전하는 것.
• 파라미터 수를 늘리지 않고 모델 용량을 향상시키는 방법을 탐색하는 것.
• 컨볼루션 레이어의 가장 중요한 채널에 파라미터를 선택적으로 할당할 수 있는 학습 가능한 메커니즘을 설계하는 것.
• 기존 모델 용량 내에서 파라미터 분포를 최적화함으로써 일반화 성능을 향상시키는 것.

제안 방법

• 학습 가능한 어텐션 또는 게이팅 메커니즘을 통해 채널 선택성을 구현하는 수정된 컨볼루션 레이어를 도입하는 것.
• 특징 중요도에 기반하여 가장 정보가 많은 채널을 식별하고 파라미터를 재할당하도록 네트워크를 훈련하는 것.
• 아키텍처의 전반적인 개편 없이 표준 CNN 아키텍처에 선택적 채널 레이어를 통합하는 것.
• 엔드 투 엔드 훈련을 통해 특징 추출과 채널 선택을 동시에 최적화하는 것.
• 백프로파게이션을 통해 채널 할당 결정을 가능하게 하는 가분성 있는 라우팅 메커니즘을 적용하는 것.
• 기준 모델과 동일한 총 파라미터 수를 유지하여 모델 크기의 증가를 방지하는 것.

실험 결과

연구 질문

• RQ1 기존 파라미터를 더 중요한 채널에 선택적으로 재할당함으로써 파라미터 수를 늘리지 않고도 CNN의 일반화 성능을 향상시킬 수 있는가?
• RQ2 다양한 CNN 아키텍처와 데이터셋에서 채널 선택적 파라미터 할당 방식의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 동일한 파라미터 수를 가진 표준 CNN보다 더 나은 일반화 성능을 달성하는가?
• RQ4 채널 선택이 특징 표현 품질과 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 채널 선택적 레이어는 파라미터 수를 늘리지 않고도 ResNet 및 MobileNet과 같은 다양한 CNN 아키텍처에서 일반화 성능을 향상시킨다.
• 유사한 파라미터 예산을 가진 표준 기준 모델 대비 ImageNet 및 CIFAR-10 벤치마크에서 높은 정확도를 달성한다.
• 선택적 채널 할당을 적용한 모델는 분포 이탈과 과적합에 대해 더 뛰어난 강건성을 보인다.
• 채널 선택 메커니즘이 의미 있는, 작업에 특화된 채널 중요도를 학습함으로써 효과적인 파라미터 활용이 이루어짐을 시사한다.