[논문 리뷰] HAKD: Hardware Aware Knowledge Distillation.

Jack Turner, Elliot J. Crowley외 4명|arXiv (Cornell University)|2018. 10. 24.

Advanced Neural Network Applications참고 문헌 17인용 수 2

한 줄 요약

HAKD는 잔차 구조 및 밀집 연결 구조를 위한 효율적인 학생 네트워크를 발견하기 위해 채널 중요도 지표와 실측 런타임 측정치를 결합한 하드웨어 인지 지식 정련 방법을 제안한다. 다양한 하드웨어에서 정확도와 지연 시간을 동시에 최적화함으로써 HAKD는 동일한 인퍼런스 시간에서 채널 프루닝 모델보다 최대 10% 높은 ImageNet top-1 정확도를 달성한다.

ABSTRACT

The task of accelerating large neural networks on general purpose hardware has, in recent years, prompted the use of channel pruning to reduce network size. However, the efficacy of pruning based approaches has since been called into question. In this paper, we turn to distillation for model compression---specifically, attention transfer---and develop a simple method for discovering performance enhanced student networks. We combine channel saliency metrics with empirical observations of runtime performance to design more accurate networks for a given latency budget. We apply our methodology to residual and densely-connected networks, and show that we are able to find resource-efficient student networks on different hardware platforms while maintaining very high accuracy. These performance-enhanced student networks achieve up to 10% boosts in top-1 ImageNet accuracy over their channel-pruned counterparts for the same inference time.

연구 동기 및 목표

• 일반 목적 하드웨어에서 대규모 신경망을 가속화하는 데 있어 채널 프루닝의 한계를 해결하기 위해.
• 프루닝 대신 지식 정련을 통한 주의 투자(attention transfer)를 활용하여 모델 압축을 향상시키기 위해.
• 엄격한 지연 시간 제약 조건 하에서도 높은 정확도를 유지하는 자원 효율적인 학생 네트워크를 발견하기 위해.
• 중요도 지표와 실측 런타임 데이터를 조합하여 다양한 하드웨어 플랫폼에 적응할 수 있는 방법을 개발하기 위해.

제안 방법

• 방법은 지식 정련을 위한 교사 네트워크의 중요 채널을 식별하기 위해 채널 중요도 지표를 사용한다.
• 목표 하드웨어에서의 실측 런타임 측정치를 통합하여 효율적인 학생 아키텍처 탐색을 이끈다.
• 정련 과정에서 모델 정확도와 인퍼런스 지연 시간을 동시에 최적화하는 접근 방식을 취한다.
• 학습된 학생 네트워크는 교사의 중간 특징을 통해 주의 정련을 사용하여 지식을 전달한다.
• 프레임워크는 잔차 및 밀집 연결 네트워크 아키텍처 양쪽에 적용된다.
• 최종 학생 모델들은 특정 하드웨어 플랫폼에서 정의된 지연 시간 예산 내 성능에 기반하여 선정된다.

실험 결과

연구 질문

• RQ1 일반 목적 하드웨어에서 지식 정련이 채널 프루닝보다 높은 정확도와 낮은 지연 시간을 동시에 달성하는 데에 더 효과적인가?
• RQ2 하드웨어 특화 런타임 특성은 정련 과정에 어떻게 통합되어 효율성을 향상시킬 수 있는가?
• RQ3 프루닝 기반 방법과 비교해 고정된 인퍼런스 지연 시간 내에서 주의 투자 방식은 정확도 향상에 얼마나 기여하는가?
• RQ4 통합 프레임워크는 다양한 하드웨어 플랫폼에서 효율적인 학생 네트워크를 발견할 수 있는가?

주요 결과

• HAKD는 동일한 인퍼런스 시간에서 채널 프루닝 모델보다 최대 10% 높은 ImageNet top-1 정확도를 달성하는 학생 네트워크를 발견한다.
• 이 방법은 동일한 지연 시간 제약 조건 하에서 잔차 및 밀집 연결 네트워크 아키텍처 양쪽에서 정확도를 향상시킨다.
• 하드웨어 인지 런타임 측정치는 정련된 모델의 정확도-효율성 트레이드오���에서 크게 향상시킨다.
• 이 방법은 다양한 하드웨어 플랫폼으로 일반화되며 일관된 성능 향상을 보인다.
• 중요도 유도 채널 선택과 결합된 주의 정련은 단순 프루닝보다 더 정확하고 효율적인 학생 네트워크를 이끈다.
• 실측 런타임 데이터는 모델 설계와 실제 하드웨어 성능 간의 보다 우수한 일치를 가능하게 하여 실세계 인퍼런스 효율성을 향상시킨다.