[論文レビュー] Towards Climate Awareness in NLP Research

Daniel Hershcovich, Nicolas Webersinke+3 more|Zurich Open Repository and Archive (University of Zurich)|May 10, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、自然言語処理（NLP）研究における環境的影響の報告を標準化・簡素化する実用的な気候パフォーマンスモデルカードを提案する。AIの環境コストに関する認識が高まる中で、気候報告の体系的欠如に応えるものである。本稿は、最小限のハードウェア情報のみを要する軽量でアクセスしやすいテンプレートを提示し、広範な採用を促進することで、NLPコミュニティ全体における透明性の向上と気候配慮型実践の推進を図る。

ABSTRACT

The climate impact of AI, and NLP research in particular, has become a serious issue given the enormous amount of energy that is increasingly being used for training and running computational models. Consequently, increasing focus is placed on efficient NLP. However, this important initiative lacks simple guidelines that would allow for systematic climate reporting of NLP research. We argue that this deficiency is one of the reasons why very few publications in NLP report key figures that would allow a more thorough examination of environmental impact. As a remedy, we propose a climate performance model card with the primary purpose of being practically usable with only limited information about experiments and the underlying computer hardware. We describe why this step is essential to increase awareness about the environmental impact of NLP research and, thereby, paving the way for more thorough discussions.

研究の動機と目的

• AIの環境コストに関する認識が高まる中で、NLP研究における気候影響報告の体系的欠如に対処すること。
• 現在のツールや実践がなぜNLPコミュニティで広く採用されていないかを特定すること。
• 最小限の入力データで透明な気候パフォーマンス報告が可能な、実用的で軽量なモデルカードを提案すること。
• 環境的影響の考慮を標準的な研究報告ワークフローに統合することで、主流のNLP分野における気候意識を高めること。
• CO2排出量の誠実で標準的かつ透明な報告を促進することで、グリーンウォッシュのリスクを低減すること。

提案手法

• 6年間分のNLP文献を対象に定量的調査を実施し、環境的影響に関する記述の普及度と質を評価する。
• NLPにおける「効率性」概念の分類を構築し、研究間での用語と報告の標準化を図る。
• 基本的な実験およびハードウェア詳細のみを用いて主要な環境指標を報告する気候パフォーマンスモデルカードのテンプレートを提案する。
• Hugging Faceなどの既存プラットフォームと互換性を持たせる設計により、モデル共有および出版ワークフローへの統合を可能にする。
• 財務報告の原則を応用し、気候影響のコミュニケーションにおける曇りのない透明性を高める。
• LaTeXおよびMarkdown形式のオープンソーステンプレートを提供するとともに、再現性およびツール支援のためのJupyterノートブックを併記する。

実験結果

リサーチクエスチョン

• RQ1 AIの環境コストに関する認識が高まる中で、なぜNLP研究において気候影響報告が一般的でないのか？
• RQ2 NLP実験の環境的影響に影響を与える主な次元は何か。それらを体系的に報告するにはどうすればよいか？
• RQ3 最小限の入力で意味のある気候パフォーマンス評価が可能な、実用的で透明性の高いモデルカードはどのように設計できるか？
• RQ4 標準化された気候報告は、グリーンウォッシュをどのように低減し、NLP研究における責任性を向上させられるか？
• RQ5 過度な負担をかけずに、気候パフォーマンス報告を主流のNLPワークフローにどう統合できるか？

主な発見

• 6年間分のNLP論文を調査した結果、環境的影響に関する記述は依然として稀であり、問題への認識が高まる中でも同様の状況が続いていることが判明した。
• 炭素排出量推定のための既存の自動化ツールは、複雑さと標準報告プロセスへの統合不足のため、ほとんど利用されていない。
• 提案された気候パフォーマンスモデルカードは、モデルサイズ、学習時間、ハードウェアタイプといった基本情報のみで、透明な報告が可能である。
• モデルカードは軽量かつ実用的であるように設計されており、多様な研究環境での採用可能性が高まっている。
• 著者らは、気候報告が研究の質を評価するのには使われてはならないと強調しており、これは効率の悪いハードウェアを使用する研究者に不利な影響を及ぼす可能性があるためである。
• モデルカードは、モデル学習および推論に起因する一次排出量に限定して設計されており、ネット気候影響や高次の影響を測定することを意図していない。