[논문 리뷰] Multi-Scale Dense Networks for Resource Efficient Image Classification

Gao Huang, Danlu Chen외 4명|arXiv (Cornell University)|2017. 03. 29.

Advanced Neural Network Applications인용 수 245

한 줄 요약

MSDNet은 재사용 가능한 계산과 테스트 시 자원 제약 하에서도 높은 정확성을 유지하면서 언제든지 및 예산 제약 배치 이미지 분류를 가능하게 하는 dense하고 다중 스케일의 중간 분류기를 갖춘 단일 CNN을 도입합니다.

ABSTRACT

In this paper we investigate image classification with computational resource limits at test time. Two such settings are: 1. anytime classification, where the network's prediction for a test example is progressively updated, facilitating the output of a prediction at any time; and 2. budgeted batch classification, where a fixed amount of computation is available to classify a set of examples that can be spent unevenly across "easier" and "harder" inputs. In contrast to most prior work, such as the popular Viola and Jones algorithm, our approach is based on convolutional neural networks. We train multiple classifiers with varying resource demands, which we adaptively apply during test time. To maximally re-use computation between the classifiers, we incorporate them as early-exits into a single deep convolutional neural network and inter-connect them with dense connectivity. To facilitate high quality classification early on, we use a two-dimensional multi-scale network architecture that maintains coarse and fine level features all-throughout the network. Experiments on three image-classification tasks demonstrate that our framework substantially improves the existing state-of-the-art in both settings.

연구 동기 및 목표

• 테스트 시 자원 제약이 있는 이미지 분류를 촉진한다( 언제든지 및 예산 제약 배치 시나리오 ).
• 다른 예산에 대해 재학습 없이 적응적 계산을 가능하게 하는 단일 CNN 아키텍처를 개발한다.
• dense 연결성 및 다중 스케일 특징을 통해 초기 종료 분류기가 계산을 재사용하되 최종 정확도를 높게 유지하도록 보장한다.

제안 방법

• 다른 분류기 간 특징 재사용을 위한 dense 연결로 연결된 중간 분류기의 계단식 구조를 도입하여 분류기 간 특징을 재사용한다.
• 네트워크 전반에 거쳐 거친 특징과 세밀한 특징을 유지하는 2차원 다중 스케일 아키텍처를 적용한다.
• 가장 거친 스케일에만 분류기를 부착하고 교차 엔트로피 손실의 가중합으로 학습한다.
• Dense 연결성을 활용하여 조기 종료가 이후 분류기의 성능 저하를 방지한다.
• 계산량을 더 줄이기 위해 게으른 평가(lazy evaluation) 및 규모 인지적 네트워크 축소를 채택한다.
• 예산 인식 임계치를 사용하여 테스트 시 종료를 제어하는 엔드-투-엔드 학습이다.

실험 결과

연구 질문

• RQ1 재학습 없이 단일 CNN 아키텍처가 언제든지 예측과 예산된 배치 분류를 위한 적응적 계산을 지원할 수 있는가?
• RQ2 dense 연결성과 다중 스케일 특징 맵이 최종 분류기에 해를 끼치지 않으면서 효과적인 조기 종료를 가능하게 하는가?
• RQ3 엄격한 계산 예산 하에서 MSDNet이 최신 CNN 및 앙상블과 비교하여 어떤 성능을 보이는가?
• RQ4 자원 제약 추론에서 다중 스케일 유지와 계산 비용 사이의 트레이드오프는 무엇인가?

주요 결과

• MSDNet은 ImageNet 및 CIFAR-100에서 모든 예산에서의 언제든지 예측 성능에서 ResNet 및 DenseNet 앙상블을 크게 능가한다.
• MSDNet은 ImageNet에서 0.1×10^10–0.3×10^10 FLOPs 예산에서 기본 baselines보다 약 4–8% 높은 정확도를 달성한다.
• 평균 예산이 1.7×10^9 FLOPs일 때, MSDNet은 ImageNet에서 약 75%의 top-1 정확도에 도달하며 같은 예산의 ResNet보다 약 6% 높다.
• MSDNet은 DenseNet보다 FLOPs를 2–3배 적게 사용하여 ImageNet의 예산된 배치 분류에서 같은 정확도를 달성한다.
• 초기 종료는 dense 연결성과 다중 스케일 특징과 결합되었을 때 효과적이며, 전체 최종 정확도는 종료 위치와 거의 독립적으로 된다.
• MSDNet은 깊은 앙상블의 성능에 비해 훨씬 적은 계산량으로도 비슷한 성능을 달성하며, 쉽고 어려운 이미지 전반에서 정밀한 예산 제어를 지원한다.