[논문 리뷰] Towards Climate Awareness in NLP Research

Daniel Hershcovich, Nicolas Webersinke외 3명|Zurich Open Repository and Archive (University of Zurich)|2022. 05. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 NLP 연구 분야에서 환경 영향을 표준화하고 단순화하여 보고하는 데 목적이 있는 실용적인 기후 성능 모델 카드를 제안한다. 이는 인공지능의 환경 비용에 대한 인식이 증가하고 있음에도 불구하고 체계적인 기후 보고의 부재를 해결하기 위한 것이다. 이는 최소한의 하드웨어 정보만을 요구하는 경량이고 접근성 있는 템플릿을 제공하여 광범위한 도입을 가능하게 하여 투명성을 높이고 NLP 공동체 전반에 걸쳐 기후 친화적인 관행을 촉진한다.

ABSTRACT

The climate impact of AI, and NLP research in particular, has become a serious issue given the enormous amount of energy that is increasingly being used for training and running computational models. Consequently, increasing focus is placed on efficient NLP. However, this important initiative lacks simple guidelines that would allow for systematic climate reporting of NLP research. We argue that this deficiency is one of the reasons why very few publications in NLP report key figures that would allow a more thorough examination of environmental impact. As a remedy, we propose a climate performance model card with the primary purpose of being practically usable with only limited information about experiments and the underlying computer hardware. We describe why this step is essential to increase awareness about the environmental impact of NLP research and, thereby, paving the way for more thorough discussions.

연구 동기 및 목표

• 인공지능의 환경 비용에 대한 인식이 증가하고 있음에도 불구하고 NLP 연구에서 체계적인 기후 영향 보고의 부재를 해결하기 위해.
• 기존 도구와 관행이 NLP 공동체에서 광범위하게 도입되지 못하는 이유를 규명하기 위해.
• 최소한의 입력 데이터로도 투명한 기후 성능 보고를 가능하게 하는 실용적이고 경량의 모델 카드를 제안하기 위해.
• 표준 연구 보고 워크플로우에 환경 영향 고려사항을 통합하여 메인스트림 NLP에서의 기후 인식을 높이기 위해.
• NLP 실험에서의 CO2 배출을 솔직하고 표준화되며 투명하게 보고함으로써 녹색워싱의 위험을 줄이기 위해.

제안 방법

• 6년간의 NLP 문헌을 대상으로 환경 영향 진술의 빈도와 질을 평가하기 위한 정량적 설문 조사를 수행하였다.
• NLP에서의 '효율성' 개념에 대한 분류 체계를 수립하여 연구 간 용어와 보고 방식의 표준화를 도모하였다.
• 기본적인 실험 및 하드웨어 정보만으로 핵심 환경 지표를 보고하는 기후 성능 모델 카드 템플릿을 제안하였다.
• Hugging Face와 같은 기존 플랫폼과의 호환성을 고려해 모델 공유 및 출판 워크플로우에 통합 가능한 모델 카드를 설계하였다.
• 투명성 향상과 기후 영향 커뮤니케이션의 모호성 감소를 위해 금융 보고 원칙을 통합하였다.
• LaTeX 및 Markdown 형식의 오픈소스 템플릿을 제공하며, 재현성과 도구 지원을 위한 Jupyter 노트북도 함께 제공하였다.

실험 결과

연구 질문

• RQ1 왜 인공지능의 환경 비용에 대한 인식이 증가하고 있음에도 불구하고 NLP 연구에서 기후 영향 보고가 흔하지 않은가?
• RQ2 NLP 실험의 환경 영향에 영향을 미치는 핵심 차원은 무엇이며, 어떻게 체계적으로 보고할 수 있는가?
• RQ3 어떻게 하면 최소한의 입력 정보로도 실용적이고 투명한 모델 카드를 설계할 수 있는가?
• RQ4 표준화된 기후 보고 방식은 녹색워싱을 어떻게 줄이고 NLP 연구의 책임성을 향상시킬 수 있는가?
• RQ5 과도한 오버헤드 없이 기후 성능 보고를 메인스트림 NLP 워크플로우에 어떻게 통합할 수 있는가?

주요 결과

• 6년간의 NLP 논문을 대상으로 한 설문 조사에서, 문제에 대한 인식이 증가하고 있음에도 불구하고 기후 영향 진술이 여전히 흔하지 않다는 것이 밝혀졌다.
• 기존의 탄소 배출 추정 자동화 도구는 복잡성과 표준 보고 관행에의 통합 부족으로 인해 거의 사용되지 않고 있다.
• 제안된 기후 성능 모델 카드는 모델 크기, 학습 시간, 하드웨어 유형과 같은 기본 정보만으로도 투명한 보고를 가능하게 한다.
• 모델 카드는 가벼운 무게와 실용성에 초점을 맞춰 다양한 연구 환경에서의 도입 가능성을 높였다.
• 저자들은 기후 보고가 연구 품질 평가에 사용되어서는 안 되며, 이는 효율성이 떨어지는 하드웨어를 사용하는 연구자들에게 불리할 수 있기 때문에 강조한다.
• 모델 카드는 네트워크 기후 영향이나 고차원적 영향을 측정하기 위한 것이 아니며, 모델 학습 및 추론에서 발생하는 제1차 배출에 집중한다.