[논문 리뷰] Energy Consumption of Deep Generative Audio Models

Constance Douwes, Philippe Esling외 1명|arXiv (Cornell University)|2021. 07. 06.

Music and Audio Processing참고 문헌 7인용 수 4

한 줄 요약

이 논문은 생성 품질(모평점(MOS)를 통해 측정)과 학습 및 추론 중 에너지 소비를 동시에 최적화함으로써 딥 생성 음성 모델을 평가하기 위한 다목적 파레토 최적성 프레임워크를 제안한다. 이는 최신 모델인 WaveFlow가 종종 파레토 지배를 받고 있음을 보여주며, 더 높은 품질의 모델이 비례하지 않게 높은 에너지 비용을 수반함을 드러내며, 모델 개발 시 에너지 효율성을 우선시해야 한다는 것을 촉구한다.

ABSTRACT

In most scientific domains, the deep learning community has largely focused on the quality of deep generative models, resulting in highly accurate and successful solutions. However, this race for quality comes at a tremendous computational cost, which incurs vast energy consumption and greenhouse gas emissions. At the heart of this problem are the measures that we use as a scientific community to evaluate our work. In this paper, we suggest relying on a multi-objective measure based on Pareto optimality, which takes into account both the quality of the model and its energy consumption. By applying our measure on the current state-of-the-art in generative audio models, we show that it can drastically change the significance of the results. We believe that this type of metric can be widely used by the community to evaluate their work, while putting computational cost -- and in fine energy consumption -- in the spotlight of deep learning research.

연구 동기 및 목표

• 생성 음성 모델 평가에서 에너지 소비 측정 기준의 부재로 인해 현재는 계산 비용을 무시한 채 품질 중심으로 평가되고 있는 문제를 해결하기 위해.
• 실제 하드웨어와 학습 데이터를 사용하여 최신 생성 음성 모델의 학습 및 추론 과정에서의 에너지 소비를 정량화하기 위해.
• 모델 품질(MOS를 통한 측정)과 에너지 효율성을 파레토 최적성 기반으로 균형 잡는 다목적 평가 프레임워크를 제안하기 위해.
• 현재 최고 성능 모델이 종종 파레토 지배를 받고 있음을 입증함으로써, 품질과 에너지 사용 간의 상호 교환에서의 비효율성을 드러내기 위해.
• 특히 생성 모델링에서 에너지 효율성을 딥 러닝 연구의 핵심 기준으로 통합할 것을 촉구하기 위해.

제안 방법

• TITAN V 하드웨어, 학습 시간, 배치 크기를 기반으로 Carbontracker를 사용하여 학습 에너지 소비량(kWh)을 추정한다.
• 단일 GPU에서 10개의 10초 길이 음성 클립을 생성하기 위한 추론 에너지 소비량(Wh)을 측정한다.
• 원본 WaveFlow 논문에서 제공된 평균 평점(MOS)을 1−%MOS로 정규화하여 최적화 과정에서 최소화 대상으로 사용한다.
• 학습 비용과 추론 비용이라는 두 가지 목표를 바탕으로 파레토 최적성을 적용하여 모델 구성 간 비교를 수행한다.
• 잔차 채널 수가 각각 64, 96, 128, 256인 다섯 가지 WaveFlow 구성에 대해 크기, 품질, 에너지 사용 간의 상호 교환 관계를 평가하기 위해 분석한다.
• 파레토 프론트를 시각화하여 지배되지 않은 모델을 식별하고, 품질-에너지 공간에서 최적성을 확보한 모델을 부각시킨다.

실험 결과

연구 질문

• RQ1 WaveFlow의 다양한 구성에 따라 학습 및 추론 과정에서의 에너지 소비는 어떻게 달라지나?
• RQ2 현재 최고 성능을 내는 생성 음성 모델들이 품질과 에너지 효율성 사이의 균형을 얼마나 잘 달성하고 있는가?
• RQ3 파레토 최적성이 품질과 에너지 소비 양면에서 최적의 성능을 내는 모델을 효과적으로 식별하는 데 사용될 수 있는가?
• RQ4 모델 크기와 학습 스텝 수는 생성 음성 모델의 에너지 비용에 어떤 영향을 미치는가?
• RQ5 평가 과정에서 에너지 측정 기준이 생략될 경우, 문헌에서 모델 성능에 대한 인식이 어떻게 왜곡되는가?

주요 결과

• 잔차 채널 수가 256인 WaveFlow 모델(WF₃)은 파레토 지배를 받고 있으며, 다른 구성보다 낮은 품질과 더 높은 에너지 비용을 유발한다.
• 모델 크기와 학습 스텝 수를 증가시키면 MOS(품질)는 향상되지만 학습 에너지 소비는 크게 증가한다. WF₃는 더 작은 버전보다 3배 이상 많은 에너지를 소비한다.
• 추론 과정의 에너지 소비는 상당히 크다. 22.05kHz에서 10개의 10초 길이 클립을 생성하기 위해 모델 크기에 따라 1.2–2.5Wh의 에너지가 소모된다.
• 파레토 프론트 분석 결과, 잔차 채널 수가 96과 128인 모델이 더 큰 모델보다 품질과 에너지 사용 간의 더 우수한 상호 교환 관계를 확보하고 있다.
• 본 연구는 현재 생성 음성 모델링 분야의 평가 관행에서 에너지 비용이 간과되고 있음을 보여주며, 이는 잠재적으로 지속 불가능한 모델 개발로 이어질 수 있음을 시사한다.
• 제안된 다목적 평가 프레임워크는 지배되지 않은 모델을 성공적으로 식별함으로써, 효율적인 모델 설계를 이끄는 데 실질적인 유용성을 입증한다.