[論文レビュー] Energy Consumption of Deep Generative Audio Models

Constance Douwes, Philippe Esling+1 more|arXiv (Cornell University)|Jul 6, 2021

Music and Audio Processing参考文献 7被引用数 4

ひとこと要約

本稿では、生成品質（MOSを用いて）とトレーニングおよびインフェンス中のエネルギー消費を同時に最適化することで、深層生成音声モデルを評価するためのマルチオブジェクティブなパレート最適性フレームワークを提案する。実証により、SOTAモデルの1つであるWaveFlowはしばしばパレート支配を受けており、より高い品質を得るには不釣り合いに高いエネルギーコストが伴うことが明らかになった。これは、モデル開発においてエネルギー効率を優先すべきであることを提言する。

ABSTRACT

In most scientific domains, the deep learning community has largely focused on the quality of deep generative models, resulting in highly accurate and successful solutions. However, this race for quality comes at a tremendous computational cost, which incurs vast energy consumption and greenhouse gas emissions. At the heart of this problem are the measures that we use as a scientific community to evaluate our work. In this paper, we suggest relying on a multi-objective measure based on Pareto optimality, which takes into account both the quality of the model and its energy consumption. By applying our measure on the current state-of-the-art in generative audio models, we show that it can drastically change the significance of the results. We believe that this type of metric can be widely used by the community to evaluate their work, while putting computational cost -- and in fine energy consumption -- in the spotlight of deep learning research.

研究の動機と目的

• 生成音声モデルの評価においてエネルギー消費の指標が欠落している現状（計算コストを無視して品質に偏重）を是正すること。
• 実際のハードウェアおよびトレーニングデータを用いて、最先端の生成音声モデルのトレーニングおよびインフェンスにおけるエネルギー消費を定量すること。
• MOSによるモデル品質とパレート最適性を用いたエネルギー効率の両立を図るマルチオブジェクティブな評価フレームワークを提案すること。
• 現在のSOTAモデルがしばしばパレート支配を受けることの実証により、品質とエネルギー使用のトレードオフにおける非効率性を明らかにすること。
• 特に生成モデル分野において、エネルギー効率をディープラーニング研究の根幹的基準として統合するよう提言すること。

提案手法

• TITAN Vをハードウェアとして用い、トレーニング時間およびバッチサイズを考慮し、Carbontrackerを用いてトレーニングエネルギー消費量（kWh単位）を推定する。
• 1枚のGPU上での10×10秒音声クリップの生成にかかるインフェンスエネルギー消費量（Wh単位）を測定する。
• オリジナルのWaveFlow論文からの平均意見スコア（MOS）を用い、最適化における最小化を可能にするために1〜%MOSに正規化する。
• トレーニングコストとインフェンスコストという2つの目的の間で、パレート最適性を適用してモデル構成を比較する。
• 残留チャネルが64、96、128、256の異なるWaveFlow構成5つを分析し、サイズ、品質、エネルギー使用のトレードオフを評価する。
• パレートフロントを可視化し、支配されないモデル（非支配的モデル）を特定し、品質とエネルギーの両面で最適なモデルを強調する。

実験結果

リサーチクエスチョン

• RQ1 WaveFlowの異なる構成において、トレーニングおよびインフェンスのエネルギー消費はどのように変化するか？
• RQ2 現在の最先端生成音声モデルは、品質とエネルギー効率のバランスをどの程度達成しているか？
• RQ3 パレート最適性は、品質とエネルギー消費の両面で最適なモデルを効果的に特定するために有効に利用できるか？
• RQ4 モデルサイズおよびトレーニングステップ数は、生成音声モデルのエネルギーコストにどのような影響を及えるか？
• RQ5 評価プロトコルにエネルギー指標が欠落していることで、文献におけるモデルパフォーマンスの認識がどのように歪められているか？

主な発見

• 残留チャネルが256のWaveFlowモデル（WF₃）はパレート支配を受けており、他の構成と比較して品質が低く、エネルギー消費が高いことが判明した。
• モデルサイズおよびトレーニングステップの増加はMOS（品質）を向上させるが、それに伴いトレーニングエネルギー消費量が著しく増加する。WF₃は、小さなバージョンと比較して3倍以上のエネルギーを消費した。
• インフェンスにおけるエネルギー消費は顕著である。22.05kHzで10秒の音声クリップ10個を生成するには、モデルサイズに応じて1クリップあたり1.2〜2.5Whのエネルギーが必要だった。
• パレートフロントの分析により、残留チャネルが96および128のモデルが、より大きなモデルと比較して品質とエネルギー使用の両面で優れたトレードオフを実現していることが明らかになった。
• 本研究は、生成音声モデル分野における現在の評価慣行がエネルギーコストを無視しており、結果として持続不可能なモデル開発を招いている可能性を示した。
• 提案されたマルチオブジェクティブフレームワークは、支配されないモデルを効果的に同定でき、効率的なモデル設計を導く上で実用的であることが証明された。