[논문 리뷰] Batch-Shaped Channel Gated Networks.

Babak Ehteshami Bejnordi, Tijmen Blankevoort외 1명|arXiv (Cornell University)|2019. 07. 15.

Advanced Neural Network Applications참고 문헌 27인용 수 9

한 줄 요약

이 논문은 입력 특징에 기반하여 개별 합성곱 채널을 동적으로 게이팅하는 데 사용되는 새로운 잔차 블록 아키텍처를 활용한 배치형 채널 게이팅 네트워크(Batch-Shaped Channel Gated Networks)를 제안한다. 특징 사후확률을 사전에 정의된 사전 분포와 일치시키기 위해 배치형(shape) 기법을 적용함으로써, 모델은 더 작은 네트워크 수준과 유사한 계산 비용을 유지하면서도 더 높은 정확도를 달성한다. ResNet50 유사 아키텍처로 ImageNet에서 74.60%의 상위-1 정확도를 기록하며, ResNet18의 69.76%를 뛰어넘는다.

ABSTRACT

We present a method that trains large capacity neural networks with significantly improved accuracy and lower dynamic computational cost. We achieve this by gating the deep-learning architecture on a fine-grained-level. Individual convolutional maps are turned on/off conditionally on features in the network. To achieve this, we introduce a new residual block architecture that gates convolutional channels in a fine-grained manner. We also introduce a generally applicable tool $batch$-$shaping$ that matches the marginal aggregate posteriors of features in a neural network to a pre-specified prior distribution. We use this novel technique to force gates to be more conditional on the data. We present results on CIFAR-10 and ImageNet datasets for image classification, and Cityscapes for semantic segmentation. Our results show that our method can slim down large architectures conditionally, such that the average computational cost on the data is on par with a smaller architecture, but with higher accuracy. In particular, on ImageNet, our ResNet50 and ResNet34 gated networks obtain 74.60% and 72.55% top-1 accuracy compared to the 69.76% accuracy of the baseline ResNet18 model, for similar complexity. We also show that the resulting networks automatically learn to use more features for difficult examples and fewer features for simple examples.

연구 동기 및 목표

• 큰 신경망의 동적 계산 비용을 정확도를 희생시키지 않고 줄이는 것.
• 입력에 의존하는 특징에 기반한 세밀한, 조건부 채널 게이팅을 가능하게 하는 것.
• 특징 사후분포를 사전에 지정된 사전과 일치시키기 위해 일반적인 도구인 배치형(shape) 기법을 개발하는 것.
• 유사한 계산 복잡도를 유지하면서 더 작은 기준 모델보다 더 높은 정확도를 달성하는 것.
• 모델이 어려운 예측에 더 많은 특징을 할당하고 쉬운 예측에 더 적은 특징을 할당하도록 자동으로 조정할 수 있도록 하는 것.

제안 방법

• 세밀한, 조건부 채널 게이팅을 가능하게 하는 새로운 잔차 블록 아키텍처를 도입한다.
• 네트워크 특징의 근사적 집합 사후확률을 사전에 지정된 사전 분포와 일치시키기 위해 새로운 배치형 기법을 활용한다.
• 배치형 기법을 사용하여 게이팅의 조건부 의존도를 입력 특징에 향상시켜 게이팅 민감도를 향상시킨다.
• 추론 중에 게이팅 메커니즘을 적용하여, 각 입력에 대해 관련된 채널만 동적으로 활성화하도록 한다.
• 표준 역전파 알고리즘을 사용해 네트워크를 훈련하면서, 게이팅 학습을 이끄는 데 배치형 정규화를 통합한다.
• 조건부 게이팅을 활용하여 평균 샘플 당 계산 비용을 더 작은 모델 수준으로 낮춘다.

실험 결과

연구 질문

• RQ1 세밀한, 입력 조건부 채널 게이팅이 큰 네트워크에서 평균 계산 비용을 줄이고 정확도를 향상시킬 수 있는가?
• RQ2 배치형 기법이 입력 특징에 대한 게이팅의 조건부 의존도를 얼마나 효과적으로 향상시키는가?
• RQ3 게이팅 네트워크는 어려운 예제에 더 많은 특징을, 쉬운 예제에 더 적은 특징을 자동으로 할당할 수 있는가?
• RQ4 게이팅된 큰 아키텍처가 유사한 복잡도를 유지하면서 더 작은 기준 모델보다 얼마나 더 높은 정확도를 달성할 수 있는가?
• RQ5 제안된 방법이 이미지 분류 및 세분화와 같은 다양한 작업과 데이터셋에 일반화되는가?

주요 결과

• ImageNet에서 게이팅된 ResNet50는 74.60%의 상위-1 정확도를 기록하며, 유사한 계산 복잡도를 가진 기준 ResNet18의 69.76%를 뛰어넘는다.
• 게이팅된 ResNet34는 72.55%의 상위-1 정확도를 기록하여, 이 방법이 더 작은 아키텍처에도 정확도 향상을 이끌 수 있음을 보여준다.
• 조건부 게이팅 덕분에 평균 샘플 당 계산 비용이 더 작은 네트워크 수준과 유사한 수준으로 낮아진다.
• 모델은 어려운 예제에 더 많은 채널을 사용하고 쉬운 예제에 더 적은 채널을 사용하도록 학습하여 적응형 계산을 보여준다.
• 이 방법은 작업 간 일반화가 가능하여, 이미지 분류를 위한 CIFAR-10과 세분화를 위한 Cityscapes 모두에서 뛰어난 성능을 보였다.
• 배치형 기법은 특징 사후확률을 사전과 일치시켜 게이팅 조건화를 효과적으로 향상시켜 더 의미 있고 데이터 기반의 게이팅 결정을 가능하게 했다.