[논문 리뷰] Efficient Deep Neural Networks

BoRui Wu|arXiv (Cornell University)|2019. 08. 20.

Advanced Neural Network Applications참고 문헌 167인용 수 10

한 줄 요약

이 박사학위 논문은 모델, 데이터, 하드웨어, 설계 효율성의 네 가지 차원에서 효율적인 딥 뉴럴 네트워크를 위한 종합적인 프레임워크를 제시한다. 고속·저전력 비전 작업을 위한 SqueezeDet과 SqueezeSeg를 도입하며, LiDAR 애너테이션을 6.2배 빠르게 하는 LATTE를 제안한다. 하드웨어와 함께 설계된 Shift & Synetgy는 공동 최적화를 통해 11.6배 빠른 추론을 실현한다. 또한 기존 방법보다 421배 낮은 탐색 비용으로 최신 기술 수준의 정확도를 달성하는 미분 가능 신경망 아키텍처 탐색(DNAS)을 제시한다.

ABSTRACT

The success of deep neural networks (DNNs) is attributable to three factors: increased compute capacity, more complex models, and more data. These factors, however, are not always present, especially for edge applications such as autonomous driving, augmented reality, and internet-of-things. Training DNNs requires a large amount of data, which is difficult to obtain. Edge devices such as mobile phones have limited compute capacity, and therefore, require specialized and efficient DNNs. However, due to the enormous design space and prohibitive training costs, designing efficient DNNs for different target devices is challenging. So the question is, with limited data, compute capacity, and model complexity, can we still successfully apply deep neural networks? This dissertation focuses on the above problems and improving the efficiency of deep neural networks at four levels. Model efficiency: we designed neural networks for various computer vision tasks and achieved more than 10x faster speed and lower energy. Data efficiency: we developed an advanced tool that enables 6.2x faster annotation of a LiDAR point cloud. We also leveraged domain adaptation to utilize simulated data, bypassing the need for real data. Hardware efficiency: we co-designed neural networks and hardware accelerators and achieved 11.6x faster inference. Design efficiency: the process of finding the optimal neural networks is time-consuming. Our automated neural architecture search algorithms discovered, using 421x lower computational cost than previous search methods, models with state-of-the-art accuracy and efficiency.

연구 동기 및 목표

• 제한된 컴퓨팅 자원, 데이터, 모델 복잡도를 가진 엣지 디바이스에 정확한 딥 뉴럴 네트워크를 구현하는 데 도전한다.
• 최소한의 계산 오버헤드로 신경망 아키텍처 탐색을 자동화하여 효율적인 모델 설계 및 훈련의 막대한 비용을 해결한다.
• 고급 애너테이션 도구와 도메인 적응 기법을 통해 데이터 효율성을 향상시켜 고비용의 실제 세계 데이터 수집에 대한 의존도를 줄인다.
• 신경망과 가속기의 공동 설계를 통해 하드웨어 효율성을 향상시켜 엣지 하드웨어에서의 더 빠른 추론을 가능하게 한다.
• 기존 방법보다 극적으로 낮은 탐색 비용으로 높은 정확도와 효율성을 확보한 자동화된, 미분 가능한 신경망 아키텍처 탐색을 개발한다.

제안 방법

• 1x1 컨벌루션과 파이어 모듈을 사용한 경량 CNN인 SqueezeDet과 SqueezeSeg를 제안하여 고속 및 저전력 소비를 달성한다.
• 센서 융합과 추적 기반의 일체형 애너테이션 시스템인 LATTE를 도입하여 LiDAR 포인트 클라우드 레이블링 속도를 6.2배 향상시킨다.
• 시뮬레이션된 데이터를 실제 LiDAR 세그멘테이션에 활용하기 위해 학습된 강도 렌더링, 지오데식 상관관계 정렬, 점진적 校정 기법과 같은 도메인 적응 기법을 개발한다.
• 깊이 분리형 컨벌루션의 하드웨어 우수한 대체 기법으로서의 Shift 연산자를 설계하여 맞춤형 가속기에서의 효율적 추론을 가능하게 한다.
• Shift 연산의 계산 효율성을 활용해 DiracDeltaNet과 Synetgy 가속기를 공동 설계하여 엣지 디바이스에서 11.6배 빠른 추론을 달성한다.
• Gumbel-Softmax를 사용한 기존 방법보다 421배 낮은 계산 비용으로 종료형, 기울기 기반 아키텍처 탐색이 가능한 기초 신경망 아키텍처 탐색(DNAS) 기법을 적용한다.

실험 결과

연구 질문

• RQ1 엔드포인트 배포를 위해 10배 빠르고 더 에너지 효율적인 동시에 최신 기술 수준의 정확도를 달성하는 딥 뉴럴 네트워크를 설계할 수 있는가?
• RQ2 레이블 품질을 저하시키지 않고 3D LiDAR 포인트 클라우드의 애너테이션 비용을 어떻게 줄일 수 있는가?
• RQ3 도메인 적응 기법을 통해 시뮬레이션된 데이터로 얼마나 강력한 3D 세분화 모델을 훈련시킬 수 있는가?
• RQ4 하드웨어 인식 신경망 설계가 엣지 가속기에서 의미 있는 추론 속도 향상을 이끌 수 있는가?
• RQ5 기존 방법보다 수십 배 낮은 계산 비용으로 신경망 아키텍처 탐색의 비용을 줄일 수 있으며, 성능은 유지 또는 향상시킬 수 있는가?

주요 결과

• SqueezeDet은 KITTI 객체 검출 벤치마크에서 기준 모델 대비 10배 이상 빠른 추론 속도와 낮은 에너지 소비를 기록한다.
• LATTE는 전통적인 수동 애너테이션 방법 대비 LiDAR 포인트 클라우드 애너테이션 시간을 6.2배 단축시킨다.
• 도메인 적응 기법을 적용한 SqueezeSegV2는 실세계 LiDAR 데이터에서 경쟁적인 성능을 달성하며, 실세계 애너테이션의 필요성을 줄였다. 이는 오직 시뮬레이션된 GTA-LiDAR 데이터만으로도 가능했다.
• Shift & Synetgy 공동 설계 프레임워크는 Shift 연산의 계산 효율성을 활용해 엣지 하드웨어에서 11.6배 빠른 추론을 실현했다.
• DNAS는 이전의 신경망 아키텍처 탐색 방법보다 421배 낮은 계산 비용으로 최신 기술 수준의 정확도를 확보한 모델을 발견했다.
• DNAS 프레임워크는 출간 후 1년 이내에 30회 이상 인용되며 새로운 SOTA 기준이 되었고, 혼합 정밀도 양자화 및 객체 검출 분야의 후속 연구를 이끌었다.