[논문 리뷰] Batch-Shaping for Learning Conditional Channel Gated Networks

Babak Ehteshami Bejnordi, Tijmen Blankevoort외 1명|arXiv (Cornell University)|2019. 07. 15.

Advanced Neural Network Applications참고 문헌 43인용 수 38

한 줄 요약

이 논문은 ResNet 기반 아키텍처에서 미세한 채널 게이팅과 특징 marginals를 사전에 모수에 맞추는 배치-형성 손실을 도입하여 입력 조건에 따른 계산을 가능하게 하고, CIFAR-10, ImageNet, Cityscapes에서 비슷하거나 더 낮은 런타임 비용으로 더 높은 정확도에서 조건부 계산을 시연한다.

ABSTRACT

We present a method that trains large capacity neural networks with significantly improved accuracy and lower dynamic computational cost. We achieve this by gating the deep-learning architecture on a fine-grained-level. Individual convolutional maps are turned on/off conditionally on features in the network. To achieve this, we introduce a new residual block architecture that gates convolutional channels in a fine-grained manner. We also introduce a generally applicable tool $batch$-$shaping$ that matches the marginal aggregate posteriors of features in a neural network to a pre-specified prior distribution. We use this novel technique to force gates to be more conditional on the data. We present results on CIFAR-10 and ImageNet datasets for image classification, and Cityscapes for semantic segmentation. Our results show that our method can slim down large architectures conditionally, such that the average computational cost on the data is on par with a smaller architecture, but with higher accuracy. In particular, on ImageNet, our ResNet50 and ResNet34 gated networks obtain 74.60% and 72.55% top-1 accuracy compared to the 69.76% accuracy of the baseline ResNet18 model, for similar complexity. We also show that the resulting networks automatically learn to use more features for difficult examples and fewer features for simple examples.

연구 동기 및 목표

• 추론 중 불필요한 특징 계산을 줄이기 위한 조건부 계산의 동기를 제시한다.
• 잔차 블록 내에서 미세한 채널 게이팅 메커니즘을 제안하여 합성곱 채널을 선택적으로 활성화한다.
• 배치-형성을 도입하여 특징 분포를 선택된 사전(예: 베타 분포)과 정렬하고 데이터 조건 게이트를 촉진한다.
• 배치-형성과 L0 스타일 희소성 손실을 결합하여 희소성을 제어하고 정확도 대 계산 비용의 trade-off를 조정한다.

제안 방법

• 게이팅 벡터 G(x_l)이 첫 번째 합성곱 뒤와 두 번째 합성곱 전 사이의 중간 활성화에 곱해지는 게이팅된 ResNet 블록을 도입한다.
• 출력 게이트 g_c는 채널별 글로벌 평균 풀링에 이어 작은 두 개의 완전 연결 네트워크를 사용하고 differentiable 이진 결정용으로 Gumbel-Softmax/BinConcrete 이완을 사용하는 경량 게이팅 모듈에 의해 생성된다.
• 배치-형성 손실은 Cramér-von-Mises 기준에 기반하여 게이트 활성의 주변 사후분포를 선택된 사전(예: Beta 분포)과 맞춰 조건성을 촉진한다.
• 게이트에 L0 유사 희소성 손실을 적용하여 전체 게이팅을 규제하고 활성 채널의 수를 제어하되, 조기 용량 손실을 피하기 위한 지연 도입을 한다.
• CIFAR-10, ImageNet, Cityscapes에서 손실의 커리큘럼(배치-형성 우선, 그 다음 희소성)과 다양한 람다, 감마로 엔드-투-엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 미세한 채널 수준의 게이팅이 덩치가 큰 블록 수준 게이팅이나 네트워크 가지치기 접근법보다 정확도-계산 비용의 트레이드오프를 더 잘 제공할 수 있는가?
• RQ2 배치-형성이 게이트를 입력에 더 조건적으로 만들도록 효과적으로 유도하는가, 그리고 이것이 정확도와 MAC 절감에 어떤 영향을 미치는가?
• RQ3 대규모 데이터셋에서 배치-형성과 L0 유사 희소성 손실의 결합이 성능과 계산에 미치는 영향은 무엇인가?
• RQ4 게이트 네트워크가 기존의 조건부 계산 방식(ConvNet-AIG, SkipNet, 동적 채널 가지치기)과 비교하여 유사한 계산에서의 정확도 측면에서 어떠한 차이가 있는가?

주요 결과

• ImageNet에서 ResNet50-BAS와 ResNet34-BAS는 ResNet18 기본 모델(Top-1 0.697)과 비교 가능한 계산에서 각각 74.60% 및 72.55%의 Top-1 정확도를 달성하여 조건부 계산으로 인해 정확도가 향상되었음을 입증한다.
• 배치-형성은 게이트를 데이터 의존적으로 유도하며, 배치-형성과 L0 유사 희소성을 결합한 모델은 유사하거나 더 낮은 MAC에서 더 높은 정확도를 달성한다.
• 게이트된 ResNet 변형은 CIFAR-10 및 ImageNet에서 유사한 정확도-비용 지점에서 ConvNet-AIG 및 ConvNet-FBS를 지속적으로 능가한다.
• Cityscapes의 의미론적 분할에서 PSPNet이 gating을 사용해 원래 PSPNet의 76.3% MAC에서 IoU 0.719, 픽셀 정확도 0.935를 달성하며, ImageNet에서 사전학습 시 IoU 0.747, acc 0.948로 95% MAC에서 개선된다.
• 게이트는 항상 켜짐(always-on), 조건부 켜짐(cond. on), 항상 꺼짐(always-off)으로 분류되며, BAS 변형은 용량 활용을 높이기 위해 조건부 희소성을 선호한다(완전한 게이팅-off보다).