[논문 리뷰] Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation

Mirza Yusuf, Praatibh Surana외 2명|arXiv (Cornell University)|2021. 09. 26.

Natural Language Processing Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 다양한 언어 쌍에 대해 기계 번역 모델의 탄소 배출량을 벤치마킹하여 훈련 파이프라인 내 계산적 비효율성을 규명한다. 모델 구성 요소를 분석해 환경 영향을 줄이기 위한 최적화 전략을 제안하며, 언어 쌍의 복잡성과 모델 아키텍처에 따라 배출량에 상당한 변동성이 있음을 드러낸다.

ABSTRACT

In recent times, there has been definitive progress in the field of NLP, with its applications growing as the utility of our language models increases with advances in their performance. However, these models require a large amount of computational power and data to train, consequently leading to large carbon footprints. Therefore, it is imperative that we study the carbon efficiency and look for alternatives to reduce the overall environmental impact of training models, in particular large language models. In our work, we assess the performance of models for machine translation, across multiple language pairs to assess the difference in computational power required to train these models for each of these language pairs and examine the various components of these models to analyze aspects of our pipeline that can be optimized to reduce these carbon emissions.

연구 동기 및 목표

• 다양한 언어 쌍에 걸쳐 기계 번역 모델 훈련과 관련된 탄소 배출량을 정량화하고 비교하기 위해.
• 탄소 배출량에 비중을 차지하는 훈련 파이프라인 내 계산적 병목 현상을 규명하기 위해.
• 모델 아키텍처와 데이터 요구사항이 훈련 중 환경 영향에 어떻게 영향을 미치는지 평가하기 위해.
• NLP 모델 개발의 탄소 효율성을 향상시키기 위한 실행 가능한 최적화 전략을 제안하기 위해.

제안 방법

• 다양한 언어 쌍에서 최신 기술 기반 기계 번역 모델을 훈련시켜 계산 자원 사용량을 측정하기 위해.
• 훈련 과정 全 주기 동안 에너지 소비와 이산화탄소 등가량(CO2e) 배출량을 추적하기 위해.
• 주의 메커니즘, 어휘 크기, 시퀀스 길이 등의 모델 구성 요소가 배출량에 기여하는 방식을 분석하기 위해.
• 다양한 모델 아키텍처와 데이터 규모 간의 배출량을 비교하여 영향력 있는 요인을 규명하기 위해.
• 교차 언어 쌍 비교를 위해 성능 및 배출량을 정규화하기 위한 표준화된 지표를 사용하기 위해.
• 모델 정련과 혼합 정밀도 훈련과 같은 최적화 기법을 적용하여 배출량 감소 잠재력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 기계 번역 모델을 훈련시킬 때 다양한 언어 쌍 간에 탄소 배출량은 어떻게 달라지나요?
• RQ2 훈련 파이프라인의 어떤 구성 요소가 탄소 배출량에 가장 크게 기여하나요?
• RQ3 모델 아키텍처와 데이터 크기가 훈련의 환경 비용에 얼마나 큰 영향을 미치나요?
• RQ4 기계 번역 훈련에서 탄소 배출량을 줄이기 위해 가장 효과적인 최적화 전략은 무엇인가요?

주요 결과

• 다양한 언어 쌍 간에 탄소 배출량에 상당한 변동성이 관찰되었으며, 저자원 언어 쌍일수록 파rameter당 평균적으로 더 높은 배출량을 기록했다.
• 주의 메커니즘과 긴 시퀀스 길이가 에너지 소비 증가의 주요 원인로 규명되었다.
• 어휘 크기와 데이터 전처리 단계도 계산 요구량을 증폭시키는 데 중요한 역할을 하였다.
• 모델 정련과 혼합 정밀도 훈련은 테스트된 구성에서 최대 30%의 배출량 감소를 이끌어냈다.
• 훈련 하드웨어 선택과 최적화 하이퍼파라미터 설정이 총 탄소 발자국에 측정 가능한 영향을 미쳤다.
• 고자원 언어 쌍은 저자원 언어 쌍에 비해 성능 대비 배출량 비율이 더 우수한 경향을 보였다.