[논문 리뷰] Multi-Scale Dense Convolutional Networks for Efficient Prediction.

Gao Huang, Danlu Chen외 4명|arXiv (Cornell University)|2017. 03. 29.

Advanced Neural Network Applications인용 수 116

한 줄 요약

이 논문은 테스트 시 계산 자원이 제한된 환경에서 효율적인 이미지 분류를 위해 초기 종료 분류기와 다중 척도 밀집 컨볼루션 네트워크를 제안한다. 밀집(skip) 연결과 다중 척도 특징 융합을 통해 다양한 자원 요구량을 가진 다수의 분류기를 통합함으로써, 언제라도 및 예산 기반 배치 분류가 가능해지며, 세 가지 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we investigate image classification with computational resource limits at test time. Two such settings are: 1. anytime classification, where the network's prediction for a test example is progressively updated, facilitating the output of a prediction at any time; and 2. budgeted batch classification, where a fixed amount of computation is available to classify a set of examples that can be spent unevenly across easier and harder inputs. In contrast to most prior work, such as the popular Viola and Jones algorithm, our approach is based on convolutional neural networks. We train multiple classifiers with varying resource demands, which we adaptively apply during test time. To maximally re-use computation between the classifiers, we incorporate them as early-exits into a single deep convolutional neural network and inter-connect them with dense connectivity. To facilitate high quality classification early on, we use a two-dimensional multi-scale network architecture that maintains coarse and fine level features all-throughout the network. Experiments on three image-classification tasks demonstrate that our framework substantially improves the existing state-of-the-art in both settings.

연구 동기 및 목표

• 테스트 시 계산 자원이 제한된 환경에서 효율적인 이미지 분류 문제를 해결하기 위해.
• 추론 중 언제라도 예측을 생성할 수 있는 언제라도 분류( anytime classification)를 가능하게 하기 위해.
• 고정된 계산 예산을 입력의 난이도에 따라 적응적으로 할당함으로써, 예산 기반 배치 분류(budgeted batch classification)를 지원하기 위해.
• 단일 깊은 신경망 내에서 밀집 연결을 통해 다수의 분류기 간에 계산 자원 재사용을 극대화하기 위해.
• 네트워크 전반에 걸쳐 다중 척도 특징 표현을 활용하여 분류 정확도와 효율성을 향상시키기 위해.

제안 방법

• 자원 소비가 다른 다양한 계산 비용을 가진 다수의 분류기를 훈련시어 자원 제약 조건 하에서의 탄력적 추론을 지원하기 위해.
• 단일 깊은 컨볼루션 신경망 내부에 분류기를 초기 종료 헤드(early-exit heads)로 통합하여 점진적인 예측을 가능하게 하기 위해.
• 모든 레이어와 분류기 간에 밀집 연결을 사용하여 특징 재사용과 기울기 흐름을 향상시키기 위해.
• 모든 네트워크 단계에서 굵은 정도와 세밀한 정도의 특징을 모두 유지하기 위해 2차원 다중 척도 아키텍처를 사용하기 위해.
• 입력의 복잡도와 가용 예산에 따라 추론 중에 초기 종료 헤드 선택을 동적으로 조정하기 위해.
• 모든 초기 종료 헤드에서 정확도와 계산 효율성의 균형을 최적화하기 위해 네트워크를 종합적으로 최적화하기 위해.

실험 결과

연구 질문

• RQ1 다양한 초기 종료 분류기를 갖춘 단일 깊은 네트워크가 기존 방법보다 언제라도 분류에서 더 높은 효율성과 정확도를 달성할 수 있는가?
• RQ2 다중 척도 밀집 아키텍처는 추론의 다양한 단계에서 높은 수준의 특징 품질을 얼마나 효과적으로 유지할 수 있는가?
• RQ3 다양한 입력에 대해 예산 기반 배치 분류에서 계산 자원을 얼마나 최적화하여 할당할 수 있는가?
• RQ4 분류기 간의 밀집 연결이 자원 제약 조건 하에서 특징 재사용과 모델 성능 향상에 기여하는가?
• RQ5 제안된 프레임워크가 언제라도 및 예산 기반 분류 설정 모두에서 최신 기술 수준의 방법을 초월할 수 있는가?

주요 결과

• 제안된 프레임워크는 언제라도 및 예산 기반 배치 분류 설정 모두에서 세 가지 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 네트워크 전반에 걸쳐 다중 척도 특징을 활용함으로써 초기 예측 정확도가 크게 향상된다.
• 밀집 연결은 분류기 간 특징 재사용을 효과적으로 가능하게 하여 모델의 효율성과 정확도를 향상시킨다.
• 입력 난이도에 따라 초기 종료 헤드를 적응적으로 선택함으로써 가용 계산 예산을 보다 효과적으로 활용할 수 있다.
• 제한된 추론 시간 또는 계산 자원 조건 하에서 이전 방법에 비해 정확도 측면에서 상당한 향상을 보였다.
• 결과는 초기 종료 기법과 다중 척도 및 밀집 아키텍처를 조합하는 것이 효율적 추론에 매우 효과적임을 확인한다.