[논문 리뷰] Green AI

Roy Schwartz, Jesse Dodge외 2명|arXiv (Cornell University)|2019. 07. 22.

Green IT and Sustainability인용 수 73

한 줄 요약

이 논문은 효율성을 정확도와 함께 평가 기준으로 다루는 것을 주창하고, 더 친환경적이고 포용적인 AI 연구를 촉진하기 위해 구체적인 효율성 지표를 보고하도록 제안한다. 또한 Red AI의 원인을 논의하고 Green AI 관측치를 도입하며 향후 방향을 개략한다.

ABSTRACT

The computations required for deep learning research have been doubling every few months, resulting in an estimated 300,000x increase from 2012 to 2018 [2]. These computations have a surprisingly large carbon footprint [38]. Ironically, deep learning was inspired by the human brain, which is remarkably energy efficient. Moreover, the financial cost of the computations can make it difficult for academics, students, and researchers, in particular those from emerging economies, to engage in deep learning research. This position paper advocates a practical solution by making efficiency an evaluation criterion for research alongside accuracy and related measures. In addition, we propose reporting the financial cost or "price tag" of developing, training, and running models to provide baselines for the investigation of increasingly efficient methods. Our goal is to make AI both greener and more inclusive---enabling any inspired undergraduate with a laptop to write high-quality research papers. Green AI is an emerging focus at the Allen Institute for AI.

연구 동기 및 목표

• 정확도 외에 환경적 및 포용성 비용을 연구에 반영하도록 AI 커뮤니티를 고무한다.
• 모델 크기, 데이터 규모, 하이퍼파라미터 탐색을 포함한 Red AI를 주도하는 요인을 식별한다.
• 전통적인 성능 지표에 더해 비교 가능한 실용적 효율성 지표를 제안한다.
• 효율성과 사전 학습 모델 재사용을 장려하는 보고 관행과 커뮤니티 규범을 촉진한다.

제안 방법

• 문헌과 컨퍼런스 논문 샘플링을 통해 Red AI를 주도하는 컴퓨트, 데이터, 실험의 추세를 분석한다.
• 결과 생성을 위해 필요한 간단하고 구현 가능한 효율성 지표, 즉 FPO (floating point operations)를 정의한다.
• 학습, 데이터 사용 및 하이퍼파라미터 탐색을 포함하는 계산 절감의 전체적 관점을 주장한다.
• 재현성을 위한 예산 대 정확도 등의 비용 민감 곡선과 벤치마이스를 보고하도록 권장한다.
• FPO의 하드웨어에 구애받지 않는 특성과 실험실 간 공정한 비교의 이점을 논의한다.
• 기존의 효율성 접근법을 검토하고 Green AI 목표와 연관지어 다룬다.

실험 결과

연구 질문

• RQ1 현대 AI 연구에서 Red AI에 기여하는 요인은 무엇인가?
• RQ2 효율성을 공정하고 비교 가능하며 하드웨어 전반에 의미있게 측정하려면 어떻게 해야 하는가?
• RQ3 과학적 발전을 저해하지 않으면서 Green AI를 촉진하기 위해 어떤 관행을 채택할 수 있는가?
• RQ4 효율성을 정확도와 함께 비교하는 데 도움이 될 보고 규범은 무엇인가?
• RQ5 AI 커뮤니티가 컨퍼런스에서 효율성 중심의 기여를 장려하려면 어떻게 해야 하는가?

주요 결과

• 결과의 비용은 per-example 처리 비용, 데이터 세트 크기, 그리고 하이퍼파라미터 실험 수에 따라 증가하며, 종종 수익 체감이 나타난다.
• 대형 모델과 방대한 데이터는 높은 비용으로 상당한 개선을 가져오지만 효율성 중심 평가의 필요성을 시사한다.
• FPO는 하드웨어에 구애받지 않는, 실행 시간을 반영하는 효율성 지표를 제공하며 공정한 비교에 적합하다.
• 예산/정확도 곡선을 보고하면 모델 선택과 데이터 규모 및 계산 예산 간의 효율성 trade-off를 드러낼 수 있다.
• AI 컨퍼런스가 현재 정확도에 비해 효율성에 더 초점을 두지 않는다는 증거가 있어 효율성 중심 평가와 인정의 여지가 있다.
• 사전학습 모델 릴리스는 재학습 비용을 절약하는 친환경적 성공 사례다.