[논문 리뷰] You Look Twice: GaterNet for Dynamic Filter Selection in CNNs

Zhourong Chen, Li Yang외 2명|arXiv (Cornell University)|2018. 11. 27.

Advanced Neural Network Applications참고 문헌 31인용 수 6

한 줄 요약

GaterNet는 백본 네트워크의 특정 필터를 활성화하기 위해 입력에 의존하는 이진 게이트를 생성하는 전용 게이터 네트워크를 사용하여 CNN에서 동적 필터 선택을 위한 새로운 프레임워크를 제안한다. 이진 게이트의 미분 가능한 훈련을 위해 개선된 SemHash를 적용함으로써, GaterNet은 파rameter 수가 1.2% 더 많을 뿐이지만 CIFAR-10에서 최고 성능을 달성하고, ImageNet에서는 뚜렷한 정확도 향상으로 기존 기준 모델을 일관되게 능가한다.

ABSTRACT

The concept of conditional computation for deep nets has been proposed previously to improve model performance by selectively using only parts of the model conditioned on the sample it is processing. In this paper, we investigate input-dependent dynamic filter selection in deep convolutional neural networks (CNNs). The problem is interesting because the idea of forcing different parts of the model to learn from different types of samples may help us acquire better filters in CNNs, improve the model generalization performance and potentially increase the interpretability of model behavior. We propose a novel yet simple framework called GaterNet, which involves a backbone and a gater network. The backbone network is a regular CNN that performs the major computation needed for making a prediction, while a global gater network is introduced to generate binary gates for selectively activating filters in the backbone network based on each input. Extensive experiments on CIFAR and ImageNet datasets show that our models consistently outperform the original models with a large margin. On CIFAR-10, our model also improves upon state-of-the-art results.

연구 동기 및 목표

• 입력의 전반적인 시각을 바탕으로 입력 의존적인 동적 필터 선택을 통해 CNN의 일반화 성능을 향상시키기.
• 전역 게이팅 메커니즘을 사용하여 CNN의 필터 선택을 위한 학습 가능하고 종단 간(end-to-end) 프레임워크를 설계하기.
• 입력 콘텐츠에 기반한 필터의 선택적 활성화를 통해 계산 비용을 절감하고 모델의 해석 가능성을 향상시키기.
• CIFAR 및 ImageNet과 같은 표준 벤치마크에서 고정 아키텍처 CNN과 기존 조건부 계산 방법을 능가하기.
• 게이터가 필터 선택을 위해 직관적이고 효과적인 게이팅 전략을 학습하는지 분석하기.

제안 방법

• 전용 게이터 네트워크가 입력을 처리하고 백본 CNN의 필터 선택을 위한 이진 게이트를 생성한다.
• 지역 설정 방식과는 달리, 게이터는 입력의 전반적 시각을 바탕으로 어느 필터를 활성화할지 종합적인 결정을 내린다.
• 이진 게이트의 미분 가능한 훈련을 가능하게 하기 위해 Improved SemHash가 적용되어 백본과 게이터를 동시에 역전파할 수 있다.
• 필터 선택은 선택적으로 적용되며, 예를 들어 ResNet의 각 잔차 블록의 마지막 합성곱층이나 Inception-v4의 연결 이후에 적용된다.
• 백본과 게이터는 별도로 사전 훈련된 후, 수렴을 위해 약간의 조정을 가한 표준 훈련 방식을 사용하여 공동으로 미세조정된다.
• 이 프레임워크는 조합적 필터 선택을 지원하여 입력당 수많은 동적 서브브랜치 구성 가능

실험 결과

연구 질문

• RQ1 전역 게이터 네트워크는 CNN 일반화를 향상시키는 효과적이고 입력 의존적인 필터 선택 전략을 학습할 수 있는가?
• RQ2 학습 가능한 이진 게이팅 메커니즘을 통한 동적 필터 선택은 ImageNet과 CIFAR-10에서 고정 아키텍처보다 더 나은 성능을 낼 수 있는가?
• RQ3 정확도와 파rameter 효율성 측면에서 GaterNet은 최신 기술 모델과 비교해 어떻게 성과를 내는가?
• RQ4 게이터 네트워크는 입력 콘텐츠에 기반해 직관적이고 해석 가능한 게이팅 패턴을 학습할 수 있는가?
• RQ5 이중 게이트 사용에도 불구하고, 제안된 방법은 훈련 안정성과 수렴성을 유지하는가?

주요 결과

• CIFAR-10에서 GaterNet은 상위-1 오차율 4.51%를 기록하여 기존 ResNet-18 및 최고 수준의 기존 모델을 뛰어넘었으며, 파rameter 수가 1.2% 더 많을 뿐이다.
• ResNet-101-Gated는 ImageNet의 상위-1 오차율을 23.36%에서 21.51%로 감소시켜 1.85%포인트 향상되었으며, ResNet-152보다도 더 적은 레이어를 사용함에도 불구하고 성능 향상이 뚜렷했다.
• ResNet-152-Gated는 상위-1 오차율 21.19%를 기록하여 원본 ResNet-152(22.34%)와 ResNet-152-SE(21.57%)를 모두 뛰어넘었으며, 강력한 성능 향상을 보였다.
• Inception-v4-Gated는 상위-1 오차율을 20.33%에서 19.64%로, 상위-5 오차율을 4.99%에서 4.80%로 감소시켜 다양한 아키텍처에서 일관된 성능 향상을 보였다.
• 분석 결과, 게이터 네트워크가 의미 있는 입력 특성에 기반해 필터를 선택하는 것으로 나타나 효과적인 게이팅 전략을 학습하고 있음을 입증했다.
• 이 방법은 아키텍처 간에 강건하게 작동하며, ResNet, DenseNet, Shake-Shake, Inception-v4에서 모두 성능 향상이 관찰되어 광범위한 적용 가능성을 보였다.