[논문 리뷰] ECC: Energy-Constrained Deep Neural Network Compression via a Bilinear Regression Model.

Haichuan Yang, Yuhao Zhu외 1명|arXiv (Cornell University)|2018. 12. 05.

Advanced Neural Network Applications인용 수 4

한 줄 요약

ECC는 에너지 소비를 추정하기 위해 이차 회귀 모델을 사용하는 혁신적인 에너지 제약 DNN 압축 프레임워크를 제안한다. 이는 엄격한 에너지 예산 내에서 정확도 손실를 최소화하는 제약 최적화를 가능하게 하며, ADMM와 기울기 기반 학습을 조합함으로써 다양한 하드웨어 플랫폼에서 기존 최고 수준의 방법들보다 높은 정확도를 달성한다.

ABSTRACT

Many DNN-enabled vision applications constantly operate under severe energy constraints such as unmanned aerial vehicles, Augmented Reality headsets, and smartphones. Designing DNNs that can meet a stringent energy budget is becoming increasingly important. This paper proposes ECC, a framework that compresses DNNs to meet a given energy constraint while minimizing accuracy loss. The key idea of ECC is to model the DNN energy consumption via a novel bilinear regression function. The energy estimate model allows us to formulate DNN compression as a constrained optimization that minimizes the DNN loss function over the energy constraint. The optimization problem, however, has nontrivial constraints. Therefore, existing deep learning solvers do not apply directly. We propose an optimization algorithm that combines the essence of the Alternating Direction Method of Multipliers (ADMM) framework with gradient-based learning algorithms. The algorithm decomposes the original constrained optimization into several subproblems that are solved iteratively and efficiently. ECC is also portable across different hardware platforms without requiring hardware knowledge. Experiments show that ECC achieves higher accuracy under the same or lower energy budget compared to state-of-the-art resource-constrained DNN compression techniques.

연구 동기 및 목표

• 드론, AR 헤드셋, 스마트폰과 같은 모바일 및 엣지 디바이스에서 에너지 효율적인 딥 뉴럴 네트워크의 증가하는 수요를 해결한다.
• 엄격한 에너지 예산 제약 하에서 DNN 압축 시 정확도 손실를 최소화한다.
• 세부 하드웨어 지식이 필요 없는 하드웨어에 관계없는 압축 프레임워크를 개발한다.
• 에너지 소비를 경직된 제약 조건으로 삼아 DNN 압축을 제약 최적화 문제로 공식화한다.
• 각 하드웨어 타겟에 대해 재학습이 필요 없이 이식 가능하고 크로스플랫폼으로 배포 가능한 압축 모델을 가능하게 한다.

제안 방법

• 층별 파라미터와 연산 간의 비선형 상호작용을 포괄하는 새로운 이차 회귀 함수를 사용해 DNN의 에너지 소비를 모델링한다.
• 사용자가 정의한 에너지 예산을 고려해 DNN 손실를 최소화하는 제약 최적화 문제로 압축 작업을 공식화한다.
• 비볼록이고 제약 조건이 있는 문제를 해결하기 위해 분할 역할 방법(ADMM)과 기울기 기반 학습을 조합한 최적화 알고리즘을 도입한다.
• 기존 문제를 반복적으로 해결할 수 있는 하위 문제로 분해함으로써 효율적이고 안정적인 수렴을 가능하게 한다.
• 모델 가중치와 보조 변수 간의 교차 업데이트를 통해 에너지 제약 조건을 준수하면서도 모델 정확도를 유지한다.
• 일반화 가능한 이차 에너지 모델에 의존함으로써 하드웨어에 특화된 에너지 추정을 피함으로써 다양한 하드웨어 플랫폼 간 이식성을 확보한다.

실험 결과

연구 질문

• RQ1 이차 회귀 모델은 다양한 하드웨어 플랫폼에서 DNN 에너지 소비를 정확하게 추정할 수 있는가?
• RQ2 에너지 예산을 고려한 제약 최적화가 DNN 압축 과정에서 정확도 손실를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 제안된 ADMM 기반 최적화 프레임워크는 동일한 에너지 제약 조건 하에서 기존 기울기 기반 또는 히وري스틱 압축 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 재학습이나 하드웨어에 특화된 튜닝 없이, 이 프레임워크는 얼마나 다양한 하드웨어 플랫폼 간 이식성이 있는가?
• RQ5 에너지 소비를 유지하거나 감소시키면서도 기존 최고 수준의 기술보다 더 높은 정확도를 달성할 수 있는가?

주요 결과

• ECC는 동일하거나 더 낮은 에너지 예산 하에서 기존 최고 수준의 자원 제약 DNN 압축 기술보다 높은 정확도를 달성한다.
• 이차 회귀 모델은 하드웨어에 특화된 校정이 필요 없이 DNN 에너지 소비를 효과적이고 일반화 가능한 방식으로 추정한다.
• ADMM 기반 최적화 프레임워크는 에너지 제약 압축 문제의 비트리비어 제약 조건을 성공적으로 처리한다.
• 하드웨어에 특화된 지식이나 재학습 없이도 다양한 하드웨어 플랫폼 간 이식성이 확보된다.
• 실험 결과, 기존 방법들과 비교해 에너지 제약 조건 하에서 정확도 향상이 일관되게 관찰된다.
• 이 방법은 정확도와 에너지 효율성 간의 균형을 효과적으로 확보하는 효율적이고 반복적인 압축을 가능하게 한다.