[논문 리뷰] PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization

Daniele Jahier Pagliari, Matteo Risso외 2명|arXiv (Cornell University)|2023. 07. 18.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

PLiNIO는 엣지 배포를 위한 딥 네트워크의 자동화된 기울기 기반 최적화를 가능하게 하는 오픈소스이자 사용자 친화적인 PyTorch 라이브러리입니다. 이는 굵은 그레인과 미세한 그레인의 신경망 아키텍처 탐색(NAS) 및 미세 조절 가능한 혼합 정밀도 양자화(MPS)를 통합하여 기준 모델 대비 정확도 손실 0.92%에 그치면서 최대 94.34%의 메모리 감소를 달성합니다.

ABSTRACT

Accurate yet efficient Deep Neural Networks (DNNs) are in high demand, especially for applications that require their execution on constrained edge devices. Finding such DNNs in a reasonable time for new applications requires automated optimization pipelines since the huge space of hyper-parameter combinations is impossible to explore extensively by hand. In this work, we propose PLiNIO, an open-source library implementing a comprehensive set of state-of-the-art DNN design automation techniques, all based on lightweight gradient-based optimization, under a unified and user-friendly interface. With experiments on several edge-relevant tasks, we show that combining the various optimizations available in PLiNIO leads to rich sets of solutions that Pareto-dominate the considered baselines in terms of accuracy vs model size. Noteworthy, PLiNIO achieves up to 94.34% memory reduction for a <1% accuracy drop compared to a baseline architecture.

연구 동기 및 목표

• 엣지 배포를 위한 DNN 설계에서 막대한 초모수 공간을 수동으로 탐색하는 데 도전하는 것.
• NAS와 혼합 정밀도 양자화를 포함한 최신 기울기 기반 AutoML 기법들을 통합하고 접근 가능한 인터페이스를 제공하는 것.
• 제약 조건이 있는 하드웨어를 대상으로 효율적이고 복잡도 인식 기반의 설계 공간 탐색(DSE)을 가능하게 하는 것.
• NAS나 양자화에 대한 전문 지식 없이도 기존의 PyTorch 워크플로우에 즉각 통합할 수 있도록 지원하는 것.
• 다양한 기울기 기반 최적화 기법을 순차적으로 적용함으로써 정확도 대비 메모리 사용량의 파레토 최적 해를 도출할 수 있음을 입증하는 것.

제안 방법

• PLiNIO는 기울기 기반 아키텍처 탐색(DARTS 스타일)을 사용하여 레이어 유형과 구성에 대해 초모수를 탐색하는 슈퍼넷 기반의 굵은 그레인 NAS를 구현합니다.
• 레벨별 초모수(예: 채널 수) 최적화를 위해 기울기 기반 아키텍처 탐색(DARTS 스타일)을 사용하는 미세 그레인 NAS를 적용합니다.
• 대칭 최소-최대 양자화와 PaCT를 사용해 가중치와 활성화의 비트 폭을 동시에 최적화하는 기울기 기반 혼합 정밀도 탐색(MPS) 방법을 통합합니다.
• 모든 최적화 기법은 통합된, PyTorch 호환 인터페이스를 통해 노출되어 있어 표준 학습 파이프라인에 원활하게 통합될 수 있습니다.
• NAS와 MPS의 순차적 적용을 지원하여 성능 유지를 유지하면서 점진적인 모델 압축을 가능하게 합니다.
• PLiNIO의 내부 설계는 확장 가능하여 향후 추가적인 기울기 기반 최적화 기법 통합이 수월합니다.

Figure 2: SuperNet implementation in PLiNIO.

실험 결과

연구 질문

• RQ1 통합적이고 사용자 友好的한 라이브러리가 엣지 배포를 위한 기울기 기반 DNN 최적화 기법의 적용을 단순화할 수 있는가?
• RQ2 굵은 그레인 NAS, 미세 그레인 NAS, 혼합 정밀도 양자화의 순차적 적용이 모델 크기를 최소한의 정확도 손실로 줄이는 데 얼마나 효과적인가?
• RQ3 기울기 기반 방법이 엣지 관련 작업에서 정확도와 메모리 프로파일 간의 파레토 최적 해에 얼마나 도달할 수 있는가?
• RQ4 메모리 감소와 정확도 측면에서 PLiNIO의 성능은 기준 모델 및 개별 최적화 기법과 비교해 어떻게 되는가?
• RQ5 PLiNIO는 AutoML나 양자화에 깊은 전문 지식이 없어도 실제 엣지 워크로드에 효과적으로 적용될 수 있는가?

주요 결과

• 슈퍼넷을 적용한 후 PIT(미세 그레인 NAS)를 적용하여 ICL 벤치마크에서 메모리 사용량을 74.68% 감소시키면서도 정확도 84.93%를 유지하였다.
• 슈퍼넷, PIT, MPS의 순차적 적용으로 ICL 데이터셋에서 메모리 사용량을 302.19 kB에서 17.09 kB로 94.34% 감소시켰고, 정확도 손실은 단 0.92%에 그쳤다.
• VWW 벤치마크에서 순차적 최적화를 통해 정확도 80–83% 범위 내에서 네 개의 새로운 파레토 최적 모델가 도출되었으며, 설계 공간 탐색의 향상이 확인되었다.
• 가장 정확도가 높은 양자화 모델은 원본 기준 모델의 84.03% 정확도 대비 83.11% 정확도를 기록하였고, 8비트 가중치와 활성화를 사용하면서 선택적 4비트 정밀도를 적용하여 메모리 사용량을 94.34% 감소시켰다.
• 이전 최적화에서 도출된 가장 작은 파레토 최적 모델에 MPS를 적용함으로써 MPS 단계의 입력 대비 메모리 사용량을 77.66% 감소시켰지만, 정확도 손실은 1.82% 발생하였다.
• 각 MPS 최적화 에포크는 표준 학습 에포크보다 4.3배 더 오래 걸렸지만, 결과적으로 상당한 압축 효과를 달성하였고 정확도 저하도 최소화되었다.

Figure 3: PIT channel-masking implementation in PLiNIO.