[논문 리뷰] Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation

Zhenda Xie, Zheng Zhang외 3명|arXiv (Cornell University)|2020. 03. 19.

Advanced Neural Network Applications참고 문헌 38인용 수 10

한 줄 요약

이 논문은 활성화 반응에 기반하여 특징 맵 위치를 확률적으로 샘플링하고 학습된 보간을 통해 전체 특징 맵을 재구성함으로써 CNN에서 계산을 감소시키는 공간적으로 적응적인 추론 방법을 제안한다. Gumbel-Softmax 재구성 기법을 사용하여 이중 샘플링 마스크의 미분 가능 학습을 가능하게 하여 객체 검출, 세분화, 이미지 분류 작업 전반에서 정확도 손실를 최소화하면서도 상당한 FLOPs 감소를 달성한다.

ABSTRACT

In the feature maps of CNNs, there commonly exists considerable spatial redundancy that leads to much repetitive processing. Towards reducing this superfluous computation, we propose to compute features only at sparsely sampled locations, which are probabilistically chosen according to activation responses, and then densely reconstruct the feature map with an efficient interpolation procedure. With this sampling-interpolation scheme, our network avoids expending computation on spatial locations that can be effectively interpolated, while being robust to activation prediction errors through broadly distributed sampling. A technical challenge of this sampling-based approach is that the binary decision variables for representing discrete sampling locations are non-differentiable, making them incompatible with backpropagation. To circumvent this issue, we make use of a reparameterization trick based on the Gumbel-Softmax distribution, with which backpropagation can iterate these variables towards binary values. The presented network is experimentally shown to save substantial computation while maintaining accuracy over a variety of computer vision tasks.

연구 동기 및 목표

• 특징 맵 내 공간적 부재를 활용하여 자원 제한된 장치에서 깊이 학습된 CNN의 높은 계산 비용을 해결한다.
• 낮은 활성화 영역에서만 계산을 건너뛰는 결정론적 희소성 방법의 비효율성을 해결한다.
• 이중 샘플링 결정의 비가역성에도 불구하고 엔드 투 엔드 학습이 가능한 미분 가능한 샘플링 메커니즘을 개발한다.
• 높은 활성화 영역에 집중시키지 않고 특징 맵 전반에 걸쳐 샘플을 분산시킴으로써 활성화 예측 오류에 대한 강건성을 향상시킨다.
• 다양한 비전 작업에서 기존의 희소 추론 방법보다 더 나은 FLOPs-정확도 트레이드오프를 달성한다.

제안 방법

• 활성화 맵을 확률 분포로 간주하고 반응 크기에 기반하여 공간적 위치를 확률적으로 샘플링하는 스토케스틱 샘플링 전략을 제안한다.
• 연속적 근사화를 통해 이중 샘플링 마스크를 통한 역전파를 가능하게 하기 위해 Gumbel-Softmax 재구성 기법을 사용한다.
• 특징 맵 활성화에 따라 샘플링 밀도를 동적으로 조정하는 콘텐츠 인식 샘플링 모듈을 학습한다.
• 샘플링 모듈과 함께 공동 최적화되는 학습 가능한 보간 커널을 통해 특징 재구성을 수행한다.
• 특징 맵 전반에 균일하게 분포된 샘플을 제공하는 희소 격자 사전 정보를 도입하여 낮은 활성도 영역에서의 보간 안정성을 향상시킨다.
• 정확도와 계산 효율성의 균형을 고려한 미분 가능한 손실 함수를 사용하여 샘플링 및 보간 모듈을 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 확률적이고 콘텐츠 인식 샘플링이 정확도 손실 없이 CNN의 계산을 줄일 수 있는가?
• RQ2 제안된 Gumbel-Softmax 재구성 기법이 이중 샘플링 결정의 미분 가능 학습을 어떻게 가능하게 하는가?
• RQ3 격자 사전 정보의 포함이 보간 품질과 추론 안정성을 향상시키는가?
• RQ4 FLOPs-정확도 트레이드오프 측면에서 이 방법은 결정론적 희소성과 균일 샘플링보다 어떻게 비교되는가?
• RQ5 이 방법은 다양한 아키텍처와 비전 작업 전반에서 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 COCO 객체 검출 및 Cityscapes 세분화 작업에서 최대 50%의 FLOPs 감소를 달성하면서 기준 방법과 동일하거나 더 높은 mAP를 유지한다.
• COCO 검증 세트에서 ResNeXt-101을 사용하여 158.6 GFLOPs에서 44.1 mAP를 달성했으며, 동일한 FLOP 수준에서 균일 샘플링보다 뛰어난 성능을 보였다.
• 추론 안정성은 매우 높았으며, 다섯 번의 실행에서 mAP 변동 범위가 0.02 이하였고, 격자 사전 정보를 제거하면 심각하게 악화되어 0.09로 증가하였다.
• Gumbel-Softmax 스케줄의 최종 온도는 성능에 거의 영향을 주지 않았으며, 테스트된 값들 간의 차이는 0.2 mAP 이하 및 3 GFLOPs 이내였다.
• 더 깊은 잔차 블록에서는 더 높은 희소성(예: 손실 가중치가 낮은 깊은 블록에서 최대 90%)를 보이며 의미적 특징에서 더 큰 공간적 부재를 나타낸다.
• 이 방법은 다양한 작업에서 뛰어난 성능을 유지한다: ImageNet에서는 FLOPs를 줄이면서 기준 모델과 유사한 정확도를 달성했고, COCO 및 Cityscapes에서는 균일 샘플링보다 뛰어난 성능을 보였다.