[논문 리뷰] Anytime Neural Prediction via Slicing Networks Vertically

Hankook Lee, Jinwoo Shin|arXiv (Cornell University)|2018. 07. 07.

Advanced Neural Network Applications참고 문헌 2인용 수 14

한 줄 요약

이 논문은 수직 분할을 통해 다중 브랜치 ResNeXt 모델의 포함적인 얇은 하위 네트워크를 훈련시켜 언제든지 신경망 예측을 가능하게 하는 I-ResNeXt 및 IS-ResNeXt라는 새로운 딥 러닝 아키텍처를 제안한다. 각 하위 네트워크별로 독립적인 배치 정규화를 사용하고 파라미터에 희소성 패턴을 적용함으로써, ImageNet에서 동일한 정확도를 달성할 때 MSDNet 대비 최대 43.3% 적은 FLOPs를 달성하면서도 단일 통과 훈련이 효율적으로 가능하고, CIFAR 및 ImageNet 벤치마크에서 이전의 언제든지 예측 모델들을 능가한다.

ABSTRACT

The pioneer deep neural networks (DNNs) have emerged to be deeper or wider for improving their accuracy in various applications of artificial intelligence. However, DNNs are often too heavy to deploy in practice, and it is often required to control their architectures dynamically given computing resource budget, i.e., anytime prediction. While most existing approaches have focused on training multiple shallow sub-networks jointly, we study training thin sub-networks instead. To this end, we first build many inclusive thin sub-networks (of the same depth) under a minor modification of existing multi-branch DNNs, and found that they can significantly outperform the state-of-art dense architecture for anytime prediction. This is remarkable due to their simplicity and effectiveness, but training many thin sub-networks jointly faces a new challenge on training complexity. To address the issue, we also propose a novel DNN architecture by forcing a certain sparsity pattern on multi-branch network parameters, making them train efficiently for the purpose of anytime prediction. In our experiments on the ImageNet dataset, its sub-networks have up to $43.3\%$ smaller sizes (FLOPs) compared to those of the state-of-art anytime model with respect to the same accuracy. Finally, we also propose an alternative task under the proposed architecture using a hierarchical taxonomy, which brings a new angle for anytime prediction.

연구 동기 및 목표

• 자원 제약 환경에서 딥 네트워크를 구현하는 과제를 해결하기 위해 다양한 계산 예산에서 동적 모델 적응을 가능하게 하는 것.
• 공동 훈련에서 얕은 하위 네트워크의 근본적 한계를 극복하기 위해 깊이가 동일한 얇은 하위 네트워크를 훈련시키는 것.
• 다중 얇은 하위 네트워크의 훈련 복잡도를 줄이기 위해 다중 브랜치 파라미터에 희소성 패턴을 도입하여 단일 통과 훈련을 가능하게 하는 것.
• 거칠기 수준의 예측이 자원이 제한된 조건에서도 성능을 유지하는 계층적 언제든지 예측이라는 새로운 작업 설정을 탐색하는 것.

제안 방법

• 다중 브랜치 ResNeXt 아키텍처에서 브랜치를 점진적으로 제거함으로써 깊이를 유지하면서 포함적인 얇은 하위 네트워크를 구성한다.
• 각 하위 네트워크에 독립적인 배치 정규화 레이어를 사용하여 훈련을 안정화시키고 성능을 향상시키면서 모든 하위 네트워크를 공동으로 훈련시킨다.
• 특정 희소성 패턴을 파라미터에 적용하여 단일 정방향/역방향 전파 훈련이 가능하도록 함으로써 IS-ResNeXt를 도입하며, 이로 인해 훈련 시간이 K배 감소한다.
• 계층적 언제든지 손실을 사용하여 하위 네트워크가 계층 구조의 태그놀로지에서 거친 레이블을 예측할 수 있도록 하여 자원이 제한된 조건에서의 최악의 정확도를 향상시킨다.
• 강력한 베이스라인 성능을 확보하기 위해 기존의 최첨단 다중 브랜치 아키텍처(예: ResNeXt)를 백본으로 활용한다.

실험 결과

연구 질문

• RQ1 깊이가 동일한 얇은 하위 네트워크가 언제든지 예측 작업에서 얕은 하위 네트워크를 능가할 수 있는가?
• RQ2 다양한 얇은 하위 네트워크의 공동 훈련이 성능을 저하시키지 않으면서도 파라미터의 희소성으로 효율화될 수 있는가?
• RQ3 계층적 태그놀로지의 사용이 자원이 제한된 조건에서 언제든지 예측의 강건성에 기여하는가?
• RQ4 제안된 아키텍처가 MSDNet과 같은 최첨단 언제든지 예측 모델에 비해 훨씬 적은 FLOPs로 더 높은 정확도를 달성할 수 있는가?

주요 결과

• I-ResNeXt 하위 네트워크는 CIFAR-10과 CIFAR-100에서 각각 최대 56.0%와 48.7%의 FLOPs를 MSDNet보다 줄였다.
• ImageNet에서 IS-ResNeXt 하위 네트워크는 동일한 정확도를 달성할 때 MSDNet 하위 네트워크보다 최대 43.3% 적은 FLOPs를 기록했으며, 전체 네트워크 성능은 유사하게 유지되었다.
• I-ResNeXt의 전체 네트워크는 원본 ResNeXt와 거의 동일한 정확도를 유지하여 공동 훈련으로 인한 성능 저하가 없음을 입증했다.
• IS-ResNeXt 아키텍처는 단일 통과 역전파를 허용함으로써 I-ResNeXt 대비 K배 빠른 훈련을 가능하게 하여 대규모 훈련을 실현 가능하게 하였다.
• 계층적 언제든지 예측에서 IS-ResNeXt는 CUB-200 데이터셋에서 거칠기 수준 예측을 허용함으로써 최악의 정확도를 31.2%에서 47.5%로 향상시켰다.