[논문 리뷰] Stochastic Downsampling for Cost-Adjustable Inference and Improved Regularization in Convolutional Networks

Jason Kuen, Xiangfei Kong외 5명|arXiv (Cornell University)|2018. 01. 29.

Advanced Neural Network Applications참고 문헌 35인용 수 6

한 줄 요약

이 논문은 훈련 중에 다양한 레이어와 비율에서 무작위로 다운샘플링을 적용함으로써 비용 조정이 가능한 추론과 향상된 정규화를 가능하게 하는 Stochastic Downsampling Point (SDPoint)를 제안한다. SDPoint는 하나의 모델이 다양한 추론 비용을 지원하면서도 구성 간 파라미터를 공유함으로써 일반화 성능을 햖고, 기존 방법에 비해 더 낮은 FLOP 예산에서 최신 기술 수준(SOTA)의 정확도를 달성한다.

ABSTRACT

It is desirable to train convolutional networks (CNNs) to run more efficiently during inference. In many cases however, the computational budget that the system has for inference cannot be known beforehand during training, or the inference budget is dependent on the changing real-time resource availability. Thus, it is inadequate to train just inference-efficient CNNs, whose inference costs are not adjustable and cannot adapt to varied inference budgets. We propose a novel approach for cost-adjustable inference in CNNs - Stochastic Downsampling Point (SDPoint). During training, SDPoint applies feature map downsampling to a random point in the layer hierarchy, with a random downsampling ratio. The different stochastic downsampling configurations known as SDPoint instances (of the same model) have computational costs different from each other, while being trained to minimize the same prediction loss. Sharing network parameters across different instances provides significant regularization boost. During inference, one may handpick a SDPoint instance that best fits the inference budget. The effectiveness of SDPoint, as both a cost-adjustable inference approach and a regularizer, is validated through extensive experiments on image classification.

연구 동기 및 목표

• 실시간 자원 제약이 있는 시스템에서 다양한 추론 예산에 적응할 수 있는 CNN 훈련 문제를 해결하기 위해.
• 재훈련 없이도 하나의 모델이 다양한 추론 비용을 지원할 수 있는 방법을 개발하기 위해.
• 훈련 중에 다양한 다운샘플링 구성 간 파라미터 공유를 통해 모델 정규화를 향상시키기 위해.
• 기존에 레이어나 파라미터를 건너뛰는 방법들과 달리, 저비용 추론 시 네트워크 파라미터를 전체적으로 활용하기 위해.

제안 방법

• 훈련 중에 각 반복마다 랜덤으로 하나의 SDPoint 인스턴스를 선택하며, 이는 다운샘플링 레이어 인덱스와 비율로 정의된다. 이는 특징 맵의 공간 크기를 감소시킨다.
• 다운샘플링은 중간 특징 맵에 적용되며, 계산 비용(FLOPs)을 감소시키면서도 모든 인스턴스 간 공유된 네트워크 가중치를 유지한다.
• 모든 SDPoint 인스턴스는 동일한 예측 손실을 최소화하도록 훈련되며, 이로 인해 파라미터 공유가 이루어지고 정규화가 향상된다.
• 추론 시에는 가용한 계산 예산에 따라 특정한 SDPoint 인스턴스를 결정적으로 선택한다.
• 이 방법은 아키텍처에 종속되지 않으며, 추가 파라미터나 훈련 오버헤드를 추가하지 않는다.
• 다운샘플링 지점과 비율의 확률적 특성을 활용하여 스케일 불변성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 확률적 다운샘플링을 통해 하나의 CNN이 다양한 추론 비용을 지원할 수 있는가?
• RQ2 다양한 다운샘플링 구성 간 파라미터 공유가 모델 정규화와 일반화에 어떻게 기여하는가?
• RQ3 저비용 추론 시 네트워크 레이어를 건너뛰는 것보다 중간 특징 맵을 다운샘플링하는 것이 더 유용한 정보를 유지하는가?
• RQ4 기본 모델에 비해 SDPoint는 스케일 민감도를 얼마나 향상시키는가?
• RQ5 기존 방법에 비해 상당히 낮은 FLOP 비용에서 SDPoint가 최신 기술 수준의 정확도를 달성할 수 있는가?

주요 결과

• SDPoint는 ResNeXt-d101-c32의 상위-1 검증 오차를 20.4%로 감소시키고 상위-5 오차를 5.3%로 낮추며, 약 두 배의 FLOP 수치를 가진 SOTA 모델과 동등한 성능을 달성한다.
• PreResNet-d101의 SDPoint 인스턴스는 SACT와 유사한 정확도를 보이지만 FLOPs의 69%만을 소비하여 더 뛰어난 비용-정확도 효율성을 입증한다.
• SDPoint를 적용한 모델은 전처리 크기 간 평균 코사인 유사도가 0.961을 기록했으며, 기준 모델의 0.944보다 높아 스케일 불변성이 향상됨을 시사한다.
• 0.5 다운샘플링 비율 제거 또는 번갈아 가며 블록을 사용하는 것은 성능 저하를 초래하며, 정규화에 있어 확률적 특성의 중요성을 확인한다.
• 높은 FLOPs가 필요한 어려운 ImageNet 예제들(예: 16.0 GFLOPs)은 종종 크기 지배적인 간섭 객체를 포함하고 있어, 조기 다운샘플링이 이러한 케이스의 정확도에 악영향을 준다는 점을 시사한다.
• SDPoint는 비용과 정확도 간 최적의 트레이드오프를 가진 서브넷을 식별할 수 있으며, 필요로 하는 추론 비용에 따라 예측 난이도 기반으로 예제를 정렬할 수 있다.