[논문 리뷰] Towards energy-efficient Deep Learning: An overview of energy-efficient approaches along the Deep Learning Lifecycle

Vanessa Mehlin, Sigurd Schacht외 1명|arXiv (Cornell University)|2023. 02. 05.

Green IT and Sustainability인용 수 18

한 줄 요약

이 논문은 전체 Deep Learning 라이프사이클에 걸친 에너지 효율적인 접근법을 조사하고 IT 인프라부터 배포 및 평가까지 에너지 절감이 어디서 가능한지 설명합니다.

ABSTRACT

Deep Learning has enabled many advances in machine learning applications in the last few years. However, since current Deep Learning algorithms require much energy for computations, there are growing concerns about the associated environmental costs. Energy-efficient Deep Learning has received much attention from researchers and has already made much progress in the last couple of years. This paper aims to gather information about these advances from the literature and show how and at which points along the lifecycle of Deep Learning (IT-Infrastructure, Data, Modeling, Training, Deployment, Evaluation) it is possible to reduce energy consumption.

연구 동기 및 목표

• Deep Learning의 환경 영향 조사를 추진하고 DL 라이프사이클을 따라 에너지를 절약할 수 있는 지점을 식별한다.
• IT 인프라, 데이터, 모델링, 훈련, 배포 및 평가에 걸친 에너지효율적 접근법에 대한 포괄적인 개요를 제공한다.
• 기존 방법의 분류를 제공하고 문헌의 발전과 격차를 강조한다.

제안 방법

• 최근 DL 연구에서 인용된 에너지 효율적 접근법에 대한 문헌 조사를 수행한다.
• DL 라이프사이클 단계(IT 인프라, 데이터, 모델링, 훈련, 배포, 평가)별로 접근법을 정리하고 분류한다.
• 에너지를 절감할 수 있는 지점과 그에 따른 트레이드오프가 무엇인지를 설명하기 위해 연구 결과를 종합한다.

실험 결과

연구 질문

• RQ1 Deep Learning 라이프사이클의 각 단계에서 존재하는 에너지 효율적 접근법은 무엇인가?
• RQ2 이 접근법을 적용하여 얼마나 많은 에너지를 절감할 수 있으며(인프라, 데이터, 모델링, 훈련, 배포, 평가), 각 단계에서의 트레이드오프는 무엇인가?
• RQ3 문헌에서 남아 있는 격차는 무엇이며 추가 연구가 필요한 영역은 어디인가?

주요 결과

• 문헌은 여러 라이프사이클 단계에 걸쳐 에너지 효율적인 Deep Learning의 진전을 보여준다.
• IT 인프라, 데이터, 모델링, 훈련, 배포 및 평가에 걸친 에너지 절감 접근법의 분류 체계가 제시된다.
• 최근 몇 년의 진보를 모아 절감이 가능한 지점을 매핑한다.