[논문 리뷰] A Synthesis of Green Architectural Tactics for ML-Enabled Systems

Heli Järvenpää, Patricia Lago외 4명|arXiv (Cornell University)|2023. 12. 15.

Green IT and Sustainability인용 수 4

한 줄 요약

이 논문은 51篇의 동료 심사 통과한 녹색 AI 연구를 종합하여 유도한, 기계학습(ML)-기반 시스템을 위한 30개의 녹색 소프트웨어 아키텍처 전략의 카탈로그를 제시한다. 이 전략들은 6개의 카테고리로 분류되어 있으며, 모델 정확도를 훼손하지 않으면서도 에너지 소비와 탄소 배출을 줄이는 실질적이고 고수준의 설계 전략을 제공한다. 환경 지속 가능성에 기여한다.

ABSTRACT

The rapid adoption of artificial intelligence (AI) and machine learning (ML) has generated growing interest in understanding their environmental impact and the challenges associated with designing environmentally friendly ML-enabled systems. While Green AI research, i.e., research that tries to minimize the energy footprint of AI, is receiving increasing attention, very few concrete guidelines are available on how ML-enabled systems can be designed to be more environmentally sustainable. In this paper, we provide a catalog of 30 green architectural tactics for ML-enabled systems to fill this gap. An architectural tactic is a high-level design technique to improve software quality, in our case environmental sustainability. We derived the tactics from the analysis of 51 peer-reviewed publications that primarily explore Green AI, and validated them using a focus group approach with three experts. The 30 tactics we identified are aimed to serve as an initial reference guide for further exploration into Green AI from a software engineering perspective, and assist in designing sustainable ML-enabled systems. To enhance transparency and facilitate their widespread use and extension, we make the tactics available online in easily consumable formats. Wide-spread adoption of these tactics has the potential to substantially reduce the societal impact of ML-enabled systems regarding their energy and carbon footprint.

연구 동기 및 목표

• 소프트웨어 아키텍처 관점에서 환경 지속 가능성을 고려한 ML 기반 시스템을 설계하기 위한 구체적이고 실행 가능한 지침의 부족을 해결하기 위해.
• 모델 수준 최적화를 넘어선 에너지 효율성에 초점을 맞춘 녹색 아키텍처 전략을 식별하고 통합하기 위해.
• 투명하고 재사용 가능하며 확장 가능한 전략 카탈로그를 제공하여 ML 시스템에서 지속 가능한 소프트웨어 공학 관행을 지원하기 위해.
• 환경적 우려를 설계 수준의 의사결정으로 번역함으로써 녹색 AI 연구와 소프트웨어 아키텍처 간 격차를 메우기 위해.
• 모든 전략을 기계가 읽을 수 있는 형식으로 공개하고 기존 소프트웨어 공학 지식 저장소에 통합함으로써 산업계의 도입과 향후 연구를 촉진하기 위해.

제안 방법

• 기계학습에서의 녹색 AI 및 환경 지속 가능성에 중점을 둔 51편의 동료 심사 통과 논문을 대상으로 체계적인 문헌 리뷰를 수행하였다.
• 문헌에서 기계학습 시스템의 에너지 효율성에 기여하는 고수준의 설계 기법(아키텍처 전략)을 추출하고 통합하였다.
• 식별된 30개의 전략을 데이터 중심, 알고리즘 설계, 모델 최적화, 모델 훈련, 배포, 관리의 6개 주제 카테고리로 분류하였다.
• ML 시스템 소프트웨어 아키텍처 전문가 3명으로 구성된 포커스 그룹을 통해 초기 전략 목록을 검증하고 보완하였다.
• 최종 카탈로그를 발견 가능하고 재사용이 가능한 Archive of Awesome and Dark Tactics (AADT)에 통합하였다.
• 모든 전략의 기원과 메타데이터를 포함하여 Zenodo에 게시하여 장기적 접근성과 버전 관리를 보장하였다.

실험 결과

연구 질문

• RQ1 RQ1: 과학적 문헌에서 ML 기반 시스템을 위한 녹색 아키텍처 전략를 어떻게 통합할 수 있는가?
• RQ2 RQ2: SA4ML 전문가들은 통합된 녹색 아키텍처 전략 컬렉션을 어떻게 평가하는가?
• RQ3 RQ3: 녹색 아키텍처 전략를 어떻게 체계화하고 형식화하여 실질적인 ML 시스템 설계에 도입할 수 있는가?
• RQ4 RQ4: ML 시스템 아키텍처에서 에너지 효율성과 다른 품질 특성(예: 정확도) 간의 주요 트레이드오프는 무엇인가?
• RQ5 RQ5: 다양한 ML 알고리즘과 시스템 관련 고려사항을 지원하기 위해 아키텍처 전략를 어떻게 일반화하고 확장할 수 있는가?

주요 결과

• 본 연구는 ML 기반 시스템을 위한 30개의 녹색 아키텍처 전략를 성공적으로 식별하고 통합하였으며, 이는 데이터 중심, 알고리즘 설계, 모델 최적화, 모델 훈련, 배포, 관리의 6개의 일관성 있는 카테고리로 분류되었다.
• 포커스 그룹 검증을 통해 전략들의 관련성과 실용성이 확인되었으며, 전문가들은 특히 초기 아키텍처 의사결정 단계에서 지속 가능한 시스템 설계를 이끄는 데 그 가치를 높이 평가했다.
• 대부분의 전략가 모델 수준의 효율성에 집중할 뿐 아니라 전체 스택의 소프트웨어 아키텍처 지식에 대한 현재의 연구 격차를 드러냈다.
• 대부분의 전략들이 모델 정확도를 유지하거나 최소한의 영향을 미치는 것으로 확인되어, 성능을 희생시키지 않고도 상당한 에너지 절감이 가능함을 시사한다.
• AADT 및 Zenodo에 카탈로그를 통합함으로써 장기적 접근성, 버전 관리, 재사용 가능성이 보장되었으며, 연구자와 실무자 모두에게 유용하다.
• 본 연구는 아키텍처 전략가 녹색 AI 연구와 소프트웨어 공학 실천 간의 다리가 될 수 있음을 입증하였으며, ML 시스템의 체계적이고 지속 가능한 설계를 가능하게 한다.