[논문 리뷰] Full-Cycle Energy Consumption Benchmark for Low-Carbon Computer Vision

Bo Li, Xinyang Jiang외 7명|arXiv (Cornell University)|2021. 08. 30.

Advanced Neural Network Applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 저탄소 컴퓨터 비전을 위한 전주기 에너지 소비 벤치마크를 제안하며, 기반 학습, 압축, 재학습, 추론 등 모든 단계에서의 에너지 소비를 평가하기 위해 '그린니스(Greeness)'라는 새로운 지표를 도입한다. 이 벤치마크는 추론 단계에서의 에너지 소비가 낮은 방법일수록 학습 단계에서 높은 에너지 소비를 유발할 수 있음을 드러내며, 최적의 모델 선택은 사용 강도에 따라 크게 달라지며, 특히 저-중간 사용 강도 환경에서는 양자화와 지식 증류 기법이 뛰어난 그린니스 성능을 보인다.

ABSTRACT

The energy consumption of deep learning models is increasing at a breathtaking rate, which raises concerns due to potential negative effects on carbon neutrality in the context of global warming and climate change. With the progress of efficient deep learning techniques, e.g., model compression, researchers can obtain efficient models with fewer parameters and smaller latency. However, most of the existing efficient deep learning methods do not explicitly consider energy consumption as a key performance indicator. Furthermore, existing methods mostly focus on the inference costs of the resulting efficient models, but neglect the notable energy consumption throughout the entire life cycle of the algorithm. In this paper, we present the first large-scale energy consumption benchmark for efficient computer vision models, where a new metric is proposed to explicitly evaluate the full-cycle energy consumption under different model usage intensity. The benchmark can provide insights for low carbon emission when selecting efficient deep learning algorithms in different model usage scenarios.

연구 동기 및 목표

• 딥 러닝의 증가하는 탄소 배출을 줄이기 위해, 단지 추론 단계에만 국한되지 않고 효율적 모델의 전체 수명 주기 동안의 에너지 소비를 평가하고자 한다.
• 기존의 효율적 딥 러닝 기법들이 학습 단계의 에너지 비용을 간과한 채 추론 효율성에만 집중하는 한계를 밝히고자 한다.
• 다양한 사용 강도 조건 하에서 전체 수명 주기 에너지 소비를 기반으로 효율적 컴퓨터 비전 모델을 비교할 수 있는 종합적인 벤치마크를 제공하고자 한다.
• 모델 선택이 배포 빈도와 업데이트 주기 등에 따라 탄소 배출에 어떤 영향을 미치는지 보여줌으로써 실용적 배포를 안내하고자 한다.
• 전체 수명 주기 단계에서 모델 성능과 에너지 소비의 균형을 고려한 새로운 지표인 '그린니스'를 도입하고자 한다.

제안 방법

• 저자들은 효율적 딥 러닝을 위한 전주기 수명 주기를 정의하며, 기반 모델 학습, 네트워크 압축, 재학습, 추론 단계를 포함한다.
• 모델 정확도, 에너지 소비, 사용 강도 간의 트레이드오���을 평가하기 위해 '그린니스' 지표를 도입한다.
• 학습 및 추론 동안 실시간 전력 사용을 캡처하기 위해 0.1초 간격의 GPU 추적을 사용하여 에너지 소비를 측정한다.
• 다양한 모델과 하드웨어(P100, P40, V100)에서 프루닝, 증류, 양자화, 신경망 아키텍처 탐색 등의 효율적 딥 러닝 기법을 평가하는 벤치마크를 구축한다.
• 배치 크기, GPU 유형, 샘플링 주기 등의 영향을 평가하기 위해 민감도 분석을 수행한다.
• 모든 모델 업데이트가 기반 학습에서 다시 시작되는 폐쇄형 수명 주기를 가정하여, 다양한 모델 사용 강도(MUI) 조건 하에서 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 다양한 모델 사용 강도 조건 하에서 효율적 딥 러닝 모델의 전주기 에너지 소비는 수명 주기 단계별로 어떻게 달라지나?
• RQ2 컴퓨터 비전 작업에서 다양한 사용 강도 조건 하에서 어떤 효율적 딥 러닝 기법이 가장 높은 그린니스 점수를 기록하는가?
• RQ3 GPU 유형 등의 하드웨어 차이와 배치 크기 등의 시스템 설정은 모델 학습 및 추론의 총 에너지 소비에 어떤 영향을 미치는가?
• RQ4 일반적으로 사용되는 효율 기법들인 프루닝과 양자화가 전체 수명 주기를 고려할 때 총 에너지 소비를 얼마나 줄이는가?
• RQ5 그린니스 지표는 실세계 컴퓨터 비전 응용에서 저탄소 배포를 위한 모델 선택을 효과적으로 안내할 수 있는가?

주요 결과

• 그린니스 지표는 추론 에너지 소비가 낮은 모델일수록 특히 낮은 모델 사용 강도 조건에서 높은 학습 에너지 소비를 유발함을 드러낸다.
• 학생 모델로 ResNet-18, 선생 모델로 Wide ResNet-40-2를 사용한 지식 증류 기법은 MUI=100에서 그린니스 점수 0.87을 기록하며 다른 방법들보다 뛰어난 성능을 보였다.
• 저-중간 사용 강도 조건에서는 특히 INT-8를 적용한 양자화 기법이 총 에너지 소비가 낮고 정확도에 대한 내성도 높아 그린니스 성능이 뛰어나다.
• 최신 GPU인 V100은 평균 전력은 높지만 실행 시간이 짧아 P100 및 P40 대비 총 에너지 소비를 20% 감소시킨다.
• 배치 크기는 에너지 소비에 비단조화적인 영향을 미치며, 최적의 에너지 효율은 배치 크기 256에서 달성되며, 이를 초과하면 GPU 활용도가 포화 상태에 도달하고 에너지 절감 효과가 더 이상 없어진다.
• 민감도 분석 결과, 0.1초 샘플링 주기에서 평균 전력 측정에 변동이 거의 없어 안정적이고 정확한 에너지 측정이 가능함을 확인하였다.