[논문 리뷰] A Survey on AI Sustainability: Emerging Trends on Learning Algorithms and Research Challenges

Zhenghua Chen, Min Wu외 3명|arXiv (Cornell University)|2022. 05. 08.

Smart Cities and Technologies인용 수 10

한 줄 요약

이 종합적 서베이는 환경 영향을 줄이기 위해 에너지 효율적이고 데이터 효율적인 학습 알고리즘을 중심으로 지속 가능한 AI에 대한 종합적인 기술적 검토를 제안한다. 또한 사회적 지속 가능성을 위해 책임감 있는, 설명 가능한, 그리고 강건한 AI를 다룬다. 이 서베이는 에너지 인지 설계 프레임워크를 도입하고, 모델 공유와 지식 정제를 지지하며, 설명 가능한 AI와 사전적 안전 조치를 차세대 지속 가능한 AI 시스템의 핵심 추진 요소로 강조한다.

ABSTRACT

Artificial Intelligence (AI) is a fast-growing research and development (R&D) discipline which is attracting increasing attention because of its promises to bring vast benefits for consumers and businesses, with considerable benefits promised in productivity growth and innovation. To date it has reported significant accomplishments in many areas that have been deemed as challenging for machines, ranging from computer vision, natural language processing, audio analysis to smart sensing and many others. The technical trend in realizing the successes has been towards increasing complex and large size AI models so as to solve more complex problems at superior performance and robustness. This rapid progress, however, has taken place at the expense of substantial environmental costs and resources. Besides, debates on the societal impacts of AI, such as fairness, safety and privacy, have continued to grow in intensity. These issues have presented major concerns pertaining to the sustainable development of AI. In this work, we review major trends in machine learning approaches that can address the sustainability problem of AI. Specifically, we examine emerging AI methodologies and algorithms for addressing the sustainability issue of AI in two major aspects, i.e., environmental sustainability and social sustainability of AI. We will also highlight the major limitations of existing studies and propose potential research challenges and directions for the development of next generation of sustainable AI techniques. We believe that this technical review can help to promote a sustainable development of AI R&D activities for the research community.

연구 동기 및 목표

• 대규모 AI 모델을 훈련시키는 데 따른 점점 증가하는 환경적, 사회적 비용을 해결한다.
• AI의 탄소 배출량을 줄이기 위해 계산 및 데이터 효율적인 학습 알고리즘 분야의 기술적 진보를 규명한다.
• 정의, 개인정보 보호, 강건성 측면에서 AI 시스템의 공정성 등을 고려해 사회적 지속 가능성을 검토한다.
• 모든 AI 개발 단계에서 자원 소비를 고려한 에너지 인지 설계 프레임워크를 제안한다.
• 지속 가능한 AI의 연구 격차와 향후 방향성을 강조하며, 다학제적 혁신을 중심으로 미래의 연구 방향을 제시한다.

제안 방법

• 데이터 확보, 표현 학습, 모델 훈련, 구현 단계에서 에너지 및 자원 소비를 기반으로 AI 시스템을 평가하는 에너지 인지 AI 설계 프레임워크를 도입한다.
• 대규모 모델을 다시 훈련하지 않고도 기존에 훈련된 큰 모델을 재사용함으로써 중복 훈련을 줄이고, 더 작은 학습 모델의 효율적 피팅을 가능하게 하기 위해 모델 공유와 지식 정제를 장려한다.
• 합성곱 레이어와 같은 깊은 신경망 연산을 시각화하고 해석함으로써 모델 투명성을 향상시키기 위해 설명 가능한 AI를 발전시킨다.
• 특권 접근 제어 및 페더레이티드 러닝과 같은 개인정보 보존 기법을 포함한 사전적 AI 안전 전략을 구현한다.
• 해석 가능한 모델에 공정성 및 편향 탐지 기능을 통합하여 모델 자체의 공정성 진단 능력을 향상시킨다.
• 기술 혁신과 거버넌스, 투명성, 책임성의 통합적 접근을 통해 지속 가능한 AI 개발을 위한 종합적 전략을 제안한다.

실험 결과

연구 질문

• RQ1 계산 및 데이터 효율적인 학습 알고리즘은 어떻게 대규모 AI 모델 훈련의 환경 비용을 줄일 수 있는가?
• RQ2 어떤 기술적 접근 방식이 모델 공유와 지식 정제를 통해 중복 훈련과 에너지 소비를 최소화하는 데 기여하는가?
• RQ3 설명 가능한 AI 기법은 모델의 해석 가능성 향상과 공정성 및 편향 자체 진단에 얼마나 기여하는가?
• RQ4 접근 제어 및 페더레이티드 러닝과 같은 사전적 안전 메커니즘은 어떻게 AI의 강건성과 개인정보 보호를 향상시키는가?
• RQ5 환경적, 사회적 지속 가능성을 동시에 달성하기 위한 주요 연구 과제와 향후 방향성은 무엇인가?

주요 결과

• 단일 대규모 트랜스포머 모델을 훈련시키는 데 최대 626,155파운드의 CO2가 배출될 수 있어, 에너지 효율적인 AI 기술의 긴급한 필요성을 보여준다.
• 모델 공유와 지식 정제를 통해 기존에 훈련된 대규모 모델을 재사용함으로써, 처음부터 훈련하는 것과 비교해 훈련 에너지를 크게 줄일 수 있다.
• CNN Explainer와 같은 설명 가능한 AI 도구는 합성곱 연산을 시각화함으로써 모델의 해석 가능성을 향상시키지만, 전체 모델 수준의 이해는 여전히 도전 과제이다.
• 에너지 인지 AI 설계는 데이터 수집부터 구현까지 AI 개발 전 단계에서 환경 비용을 고려하도록 유도한다.
• 특권 접근 관리 및 페더레이티드 러닝을 포함한 사전적 안전 조치는 모델 가중치와 훈련 데이터를 악성 위협으로부터 보호하는 데 필수적이다.
• 공정성, 개인정보 보호, 강건성을 해석 가능한 모델에 통합함으로써 자체 진단 능력을 향상시키고, 편향되거나 안전하지 않은 AI 시스템의 위험을 줄일 수 있다.