[논문 리뷰] Resolution Adaptive Networks for Efficient Inference

Le Yang, Yizeng Han외 4명|arXiv (Cornell University)|2020. 03. 16.

Advanced Neural Network Applications참고 문헌 2인용 수 21

한 줄 요약

이 논문은 분류 난이도에 따라 입력 해상도를 동적으로 조정함으로써 계산 효율성을 향상시키는 새로운 적응형 추론 프레임워크인 해상도 적응형 네트워크(RANet)를 제안한다. 쉬운, 높은 신뢰도를 가진 샘플은 경량의 저해상도 하위 네트워크를 통해 처리하고, 어려운 샘플은 고해상도 처리를 위해 보존함으로써 RANet은 공간적 중복을 줄이고, CIFAR-10, CIFAR-100, ImageNet에서 언제든지 예측 및 예산 설정 분류 설정 모두에서 정확도를 훼손하지 않은 채 추론 속도를 향상시킨다.

ABSTRACT

Adaptive inference is an effective mechanism to achieve a dynamic tradeoff between accuracy and computational cost in deep networks. Existing works mainly exploit architecture redundancy in network depth or width. In this paper, we focus on spatial redundancy of input samples and propose a novel Resolution Adaptive Network (RANet), which is inspired by the intuition that low-resolution representations are sufficient for classifying "easy" inputs containing large objects with prototypical features, while only some "hard" samples need spatially detailed information. In RANet, the input images are first routed to a lightweight sub-network that efficiently extracts low-resolution representations, and those samples with high prediction confidence will exit early from the network without being further processed. Meanwhile, high-resolution paths in the network maintain the capability to recognize the "hard" samples. Therefore, RANet can effectively reduce the spatial redundancy involved in inferring high-resolution inputs. Empirically, we demonstrate the effectiveness of the proposed RANet on the CIFAR-10, CIFAR-100 and ImageNet datasets in both the anytime prediction setting and the budgeted batch classification setting.

연구 동기 및 목표

• 입력 샘플 내 공간적 중복성을 활용하여 딥 컨volution 네트워크 추론의 계산 비효율성을 해결하기 위해.
• 쉽게 분류 가능한 이미지에서 불필요한 고해상도 특징 계산을 줄이기 위해.
• 예측 신뢰도에 기반해 해상도를 적응적으로 조정하는 동적 추론 메커니즘을 설계하기 위해.
• 모든 시간 예측 및 예산 설정 배치 분류 설정 모두에서 효율성을 향상시키기 위해.
• 대부분의 샘플에 대해 저주파수, 굵은 특징이 충분하며, 세부 정보는 오직 어려운 케이스에만 필요한가를 입증하기 위해.

제안 방법

• RANet는 점진적으로 더 높은 해상도에서 입력을 처리하는 하위 네트워크를 갖춘 다중 척도 밀집 네트워크 아키텍처를 사용한다.
• 각 하위 네트워크는 예측을 생성하며, 신뢰도가 임계값을 초과하면 추가 처리 없이 샘플이 조기에 종료된다.
• 저해상도 특징은 재사용되어 고해상도 하위 네트워크에 융합되어 특징 일관성과 효율성을 유지한다.
• 네트워크는 조기 종료 또는 계속 처리 여부를 결정하기 위해 소프트맥스 확률을 신뢰도 기준으로 사용한다.
• 고해상도 경로는 세밀한 세부 정보가 필요한 어려운 샘플을 처리하기 위해 유지된다.
• 이 아키텍처는 입력에 따라 동적으로 계산이 이루어지며, 불필요한 공간 연산을 줄인다.

실험 결과

연구 질문

• RQ1 큰, 대표적인 특징을 지닌 '쉬운' 이미지를 분류하기 위해 저해상도 표현이 충분한가?
• RQ2 예측 신뢰도에 기반한 조기 종료가 정확도를 떨어뜨리지 않고 계산 비용을 줄이는가?
• RQ3 해상도 적응이 고해상도 입력의 공간적 중복성 감소에 얼마나 효과적인가?
• RQ4 RANet은 언제든지 예측 및 예산 설정 설정 모두에서 깊이 또는 너비 기반 적응형 추론보다 더 뛰어난 효율성을 달성할 수 있는가?
• RQ5 어떤 유형의 이미지가 일관되게 '어려운' 것으로 분류되어 고해상도 처리가 필요한가?

주요 결과

• RANet는 쉬운 샘플에 대해 조기 종료를 허용함으로써 계산 비용을 크게 감소시킨다. 이는 일반적으로 저해상도 특징으로 분류되기 때문이다.
• CIFAR-10 및 CIFAR-100에서 RANet는 언제든지 예측 설정 하에서 기준 모델과 유사한 정확도를 달성하면서도 FLOPs를 최대 40%까지 감소시킨다.
• 예산 설정 배치 분류 설정에서 RANet는 동일한 FLOP 예산 하에 표준 모델 대비 최대 2.1% 높은 정확도를 확보한다.
• 다중 객체, 소형 객체 또는 대표적 특징이 없는 이미지는 일관되게 '어려운' 것으로 분류되며 고해상도 처리가 필요하다.
• 신호 주파수 관점에서 저주파수 특징이 대부분의 샘플에 충분하며, 고주파수 세부 정보는 비표준 케이스에만 필수적임을 확인한다.
• 실험 결과는 RANet가 데이터 수준의 중복성을 효과적으로 활용하며, 깊이 및 너비 기반의 적응형 방법보다 효율성과 적응성 면에서 뛰어나다는 것을 입증한다.