[논문 리뷰] Progressive Neural Networks for Image Classification

Zhang Zhi, Guanghan Ning외 5명|arXiv (Cornell University)|2018. 04. 25.

Advanced Neural Network Applications참고 문헌 12인용 수 7

한 줄 요약

이 논문은 시각적 인식 난이도에 따라 각 이미지의 추론 복잡도를 동적으로 조정하는 프로그레시브 신경망 프레임워크인 ProgNet을 제안한다. 능력이 점차 증가하는 단계를 순차적으로 활성화하고, 학습된 신뢰도 기반 결정 정책을 사용함으로써, 단일 모델을 사용하여 10배의 복잡도 범위에서 최신 기술 수준의 정확도를 달성하며, MobileNet과 DenseNet의 변종보다 정확도-복잡도 트레이드오프에서 뛰어난 성능을 발휘한다.

ABSTRACT

The inference structures and computational complexity of existing deep neural networks, once trained, are fixed and remain the same for all test images. However, in practice, it is highly desirable to establish a progressive structure for deep neural networks which is able to adapt its inference process and complexity for images with different visual recognition complexity. In this work, we develop a multi-stage progressive structure with integrated confidence analysis and decision policy learning for deep neural networks. This new framework consists of a set of network units to be activated in a sequential manner with progressively increased complexity and visual recognition power. Our extensive experimental results on the CIFAR-10 and ImageNet datasets demonstrate that the proposed progressive deep neural network is able to obtain more than 10 fold complexity scalability while achieving the state-of-the-art performance using a single network model satisfying different complexity-accuracy requirements.

연구 동기 및 목표

• 기존의 딥 네트워크가 모든 이미지에 대해 동일한 계산 비용을 사용하는 고정된 추론 복잡도 문제를 해결하기 위해.
• 입력 이미지의 난이도에 따라 계산 자원을 스케일링하는 프로그레시브 네트워크 구조를 개발하여, 단순한 이미지에 대해 더 효율적인 성능을 향상시키기 위해.
• 낮은 복잡도의 이미지를 위한 조기 추론 종료를 결정하는 데 신뢰도 인식 결정 정책을 학습하기 위해.
• 다양한 계산 예산에서 단일 통합 모델을 사용하여 최신 기술 수준의 정확도-복잡도 트레이드오프를 달성하기 위해.

제안 방법

• 각 단계가 점차 깊어지고 더 강력한 신경망 유닛인 다단계 아키텍처를 사용하며, 이를 순차적으로 활성화한다.
• 각 단계는 독립적으로 분류 결정을 내리며, 최종 예측은 충분한 신뢰도가 확보되거나 모든 단계가 처리된 후에 이루어진다.
• 신뢰도 분석 및 결정 정책(CADP) 네트워크는 순환 모델로 구현되어 각 단계에서의 신뢰도를 평가하고 다음 단계로 진행할지 또는 조기에 종료할지를 결정한다.
• CADP 네트워크는 강화학습 또는 지도학습 접근 방식을 사용하여 정확도와 추론 비용 간의 트레이드오프를 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 유연한 배포를 위해 동적 및 고정 컨트롤러 모드를 지원하는 순차적 및 병렬 ProgNet 변종을 지원한다.
• 훈련은 CIFAR-10 및 ImageNet에서 표준 데이터 증강 및 정규화를 사용하며, 다양한 단계와 컨트롤러 전략에 따라 복잡도-정확도 곡선을 평가한다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크 모델이 입력 이미지당 가변적인 계산 복잡도를 갖는 同시에 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 학습된 결정 정책이 시각적 복잡도에 기반해 각 이미지의 최적의 추론 깊이를 얼마나 효과적으로 예측할 수 있는가?
• RQ3 프로그레시브 네트워크 아키텍처가 MobileNet 및 DenseNet과 같은 고정 아키텍처 모델보다 다양한 복잡도 수준에서 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 신뢰도 분석 통합이 가변적인 계산 예산 하에서 이미지 분류의 효율성과 정확도를 얼마나 향상시키는가?

주요 결과

• ProgNet-p4-dynamic는 1.87G MACC 연산으로 ImageNet에서 73.9%의 top-1 정확도를 달성하여, 동일한 복잡도 수준에서 MobileNet-v2(71.7%)를 초월한다.
• 동일한 정확도를 확보한 상태에서 ProgNet-p4-dynamic는 추론 시간을 MobileNet-v2 대비 20% 감소시켜 CPU에서 89.03ms, GPU에서 1.17ms를 기록한다.
• CADP 컨트롤러는 복잡도-정확도 성능 곡선을 통해 무작위 종료 전략보다 뚜렷이 뛰어난 성능을 보였다.
• ProgNet은 추론 비용의 전 범위에서 10배 이상의 복잡도 스케일러빌리티를 보이며, 전체 추론 비용 범위에서 최신 기술 수준의 성능을 유지한다.
• 6단계와 동적 제어를 사용할 경우, ProgNet은 ResNet-18과 DenseNet-121보다 더 낮은 계산 비용에서 74.6%의 top-1 정확도를 달성한다.