[論文レビュー] Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation

Mirza Yusuf, Praatibh Surana+2 more|arXiv (Cornell University)|Sep 26, 2021

Natural Language Processing Techniques参考文献 17被引用数 4

ひとこと要約

本稿は、複数の言語対における機械翻訳モデルの炭素排出量をベンチマーク化し、トレーニングパイプラインにおける計算的非効率性を特定する。モデルの構成要素を分析することで、環境的影響を低減するための最適化を提案し、言語対の複雑さやモデルアーキテクチャに応じて排出量に顕著な差が生じることを明らかにする。

ABSTRACT

In recent times, there has been definitive progress in the field of NLP, with its applications growing as the utility of our language models increases with advances in their performance. However, these models require a large amount of computational power and data to train, consequently leading to large carbon footprints. Therefore, it is imperative that we study the carbon efficiency and look for alternatives to reduce the overall environmental impact of training models, in particular large language models. In our work, we assess the performance of models for machine translation, across multiple language pairs to assess the difference in computational power required to train these models for each of these language pairs and examine the various components of these models to analyze aspects of our pipeline that can be optimized to reduce these carbon emissions.

研究の動機と目的

• 多様な言語対 across で機械翻訳モデルのトレーニングに関連する炭素排出量を定量化および比較すること。
• トレーニングパイプラインにおいて、炭素排出量に顕著に寄与する計算的ボトル neck を同定すること。
• モデルアーキテクチャおよびデータ要件がトレーニング中の環境的影響にどのように影響するかを評価すること。
• NLPモデル開発における炭素効率を向上させるための実行可能な最適化戦略を提案すること。

提案手法

• 複数の言語対で最先端の機械翻訳モデルをトレーニングし、計算リソースの使用状況を測定すること。
• トレーニングプロセス全体を通じてエネルギー消費および二酸化炭素に換算した排出量（CO2e）を追跡すること。
• 注目メカニズム、語彙サイズ、シーケンス長などのモデル構成要素が排出量に与える寄与度を分析すること。
• 異なるモデルアーキテクチャおよびデータスケールを比較し、排出量に顕著な影響を与える要因を同定すること。
• 言語対間での比較を可能にするために、標準化された指標を用いてパフォーマンスと排出量を正規化すること。
• モデル蒸留やミックス・プレシジョントレーニングなどの最適化技術を適用し、排出量削減の可能性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳モデルをトレーニングする際、異なる言語対で炭素排出量はどのように変動するか？
• RQ2 トレーニングパイプラインのどの構成要素が炭素排出量に最も顕著に寄与しているか？
• RQ3 モデルアーキテクチャおよびデータサイズが、トレーニングの環境的コストにどの程度影響を及ぼすか？
• RQ4 機械翻訳トレーニングにおける炭素排出量を低減するための最も効果的な最適化戦略は何か？

主な発見

• 言語対ごとに顕著な炭素排出量のばらつきが観察され、低リソース言語対ではパラメータあたりの排出量が一般的に高かった。
• 注目メカニズムおよび長いシーケンス長が、エネルギー消費の増加に大きな要因であると特定された。
• 語彙サイズおよびデータ前処理ステップも、計算要求の増大に顕著な寄与を示した。
• モデル蒸留およびミックス・プレシジョントレーニングにより、テストされた設定で排出量が最大30％削減された。
• トレーニングに使用するハードウェアおよび最適化ハイパーパramータの選定が、全体の炭素フットプリントに顕著な影響を与えた。
• 高リソース言語対は、低リソース言語対に比べてパフォーマンス対排出量比が優れていた。