[논문 리뷰] Which Design Decisions in AI-enabled Mobile Applications Contribute to Greener AI?

Roger Creus Castanyer, Silverio Martínez‐Fernández외 1명|arXiv (Cornell University)|2021. 09. 28.

IoT and Edge/Fog Computing인용 수 6

한 줄 요약

이 연구는 AI 기반 모바일 애플리케이션에서의 설계 결정이 에너지 효율성과 성능에 미치는 영향을 조사하며, 특히 컨volutional 네트워크에서 모델 복잡도—특히 파라미터 수—가 CPU 사용량을 지수적으로 증가시키지만 정확도는 비례적으로 향상되지 않는다는 것을 발견한다. 저자들은 필요할 경우에만 작게 시작하고 점차 확장하는 것을 권장하며, 모바일 플랫폼에서의 체계적 실험을 통해 더 친환경적인 AI를 촉진하기 위한 프로파일링 도구의 유효성을 검증한다.

ABSTRACT

Background: The construction, evolution and usage of complex artificial intelligence (AI) models demand expensive computational resources. While currently available high-performance computing environments support well this complexity, the deployment of AI models in mobile devices, which is an increasing trend, is challenging. Mobile applications consist of environments with low computational resources and hence imply limitations in the design decisions during the AI-enabled software engineering lifecycle that balance the trade-off between the accuracy and the complexity of the mobile applications. Objective: Our objective is to systematically assess the trade-off between accuracy and complexity when deploying complex AI models (e.g. neural networks) to mobile devices, which have an implicit resource limitation. We aim to cover (i) the impact of the design decisions on the achievement of high-accuracy and low resource-consumption implementations; and (ii) the validation of profiling tools for systematically promoting greener AI. Method: This confirmatory registered report consists of a plan to conduct an empirical study to quantify the implications of the design decisions on AI-enabled applications performance and to report experiences of the end-to-end AI-enabled software engineering lifecycle. Concretely, we will implement both image-based and language-based neural networks in mobile applications to solve multiple image classification and text classification problems on different benchmark datasets. Overall, we plan to model the accuracy and complexity of AI-enabled applications in operation with respect to their design decisions and will provide tools for allowing practitioners to gain consciousness of the quantitative relationship between the design decisions and the green characteristics of study.

연구 동기 및 목표

• AI 기반 모바일 애플리케이션에서 모델 정확도와 계산 복잡도 사이의 상호 작용을 체계적으로 평가하기 위해.
• AI 모델 아키텍처 및 설정에서 자원 소비가 높고 에너지 효율성이 낮아지는 데 기여하는 설계 결정을 특정하기 위해.
• 모바일 기기에서 AI 애플리케이션 성능을 모니터링하고 최적화하는 데 있어 프로파일링 도구의 효과성을 검증하기 위해.
• 필요한 정확도를 유지하면서도 경량이고 효율적인 모델을 사용함으로써 더 친환경적인 AI를 촉진하기 위해.
• 미래의 모바일 AI 효율성 연구를 위한 개방형, 재현 가능한 데이터셋과 방법론을 제공하기 위해.

제안 방법

• Android Studio와 Unity3D를 사용하여 모바일 플랫폼에서 이미지 및 텍스트 분류용 신경망을 구현하였다.
• 6개의 벤치마크 데이터셋을 사용하여 모델을 훈련시켰다: GTSRB, MNIST, CIFAR(시각); Sentiment140, IMDB, Amazon Reviews(텍스트).
• 다양한 모델 구성에서 실시간 메트릭스인 CPU 사용 시간, 저장 용량, 모델 정확도를 프로파일링하였다.
• 모델 아키텍처(예: ResNet, Transformer, 완전 연결층), 깊이, 파라미터 수와 같은 독립 변수를 체계적으로 변화시켰다.
• 설계 선택과 성능 메트릭 간의 스케일링 추세 및 상관관계를 식별하기 위해 통계 분석을 적용하였다.
• 재현 가능성과 개방 과학 기준을 확보하기 위해 훈련 코드, 앱 코드, 프로파일링 데이터, 분석 스크립트를 포함한 포괄적인 오픈소스 복제 패키지를 공개하였다.

실험 결과

연구 질문

• RQ1 신경망의 파라미터 수가 모바일 AI 애플리케이션에서 CPU 사용 시간과 저장 용량에 어떤 영향을 미치는가?
• RQ2 모델 아키텍처(예: ResNet 대 비표준 CNN)가 모바일 기기에서 AI 추론의 기본 계산 비용에 얼마나 영향을 미치는가?
• RQ3 다양한 데이터셋이 모바일 배포 시 모델의 스케일링 행동과 정확도에 어떤 영향을 미치는가?
• RQ4 프로파일링 도구는 모델 복잡도와 자원 소비 간의 성능 트레이드오프를 신뢰성 있게 캡처하고 정량화할 수 있는가?
• RQ5 개발자가 더 에너지 효율적이고, 즉 더 친환경적인 AI 모델을 모바일 애플리케이션에서 개발하기 위해 따라야 할 설계 관행은 무엇인가?

주요 결과

• 컨볼루션 네트워크에서 CPU 사용 시간은 파라미터 수에 따라 지수적으로 증가하지만, 완전 연결층에서는 로그적으로 증가한다.
• 저장 용량은 파라미터 수에 따라 선형적으로 증가하지만, 정확도는 파라미터 증가와 비례하여 향상되지 않는다.
• 잔차 네트워크(ResNets)와 트랜스포머는 표준 CNN이나 RNN과 같은 간단한 아키텍처보다 현저히 높은 기본 CPU 사용량을 보인다.
• 데이터셋 선택은 모델의 스케일링 행동과 정확도에 강력한 영향을 미치며, 이는 맥락에 따라 달라지는 성능 트레이드오프를 시사한다.
• 이 연구는 프로파일링 도구가 성능 메트릭을 체계적으로 캡처할 수 있음을 확인하여, 더 친환경적인 AI 개발을 위한 데이터 기반 의사결정을 가능하게 한다.
• 정확도가 충분하지 않을 경우에만 모델을 확장하고, 그렇지 않으면 작은 모델로 시작하는 것이 모바일 애플리케이션에서 더 친환경적인 AI를 달성하기 위한 권장 최선의 실천 방법이다.