[논문 리뷰] XCloud: Design and Implementation of AI Cloud Platform with RESTful API Service

Lu Xu, Yating Wang|arXiv (Cornell University)|2019. 12. 14.

IoT and Edge/Fog Computing참고 문헌 19인용 수 5

한 줄 요약

XCloud는 RESTful API를 통해 일반적인 컴퓨터 비전 및 데이터 마이닝 서비스를 노출하는 오픈소스 AI 클라우드 플랫폼입니다. 연구자와 개발자가 사전 훈련된 모델을 애플리케이션에 쉽게 통합할 수 있도록 지원합니다. 파이토치와 디자인을 기반으로 구축되어, 저지연 추론(예: 피부 질환 진단의 경우 평균 16ms 지연)을 제공하며, 모듈러 설계와 텐서트런트 최적화를 통해 고성능 배포를 위한 확장성을 지원합니다.

ABSTRACT

In recent years, artificial intelligence (AI) has aroused much attention among both industrial and academic areas. However, building and maintaining efficient AI systems are quite difficult for many small business companies and researchers if they are not familiar with machine learning and AI. In this paper, we first evaluate the difficulties and challenges in building AI systems. Then an cloud platform termed XCloud, which provides several common AI services in form of RESTful APIs, is constructed. Technical details are discussed in Section 2. This project is released as open-source software and can be easily accessed for late research. Code is available at https://github.com/lucasxlu/XCloud.git.

연구 동기 및 목표

• 기계 학습 파ip라인에 익숙하지 않은 연구자와 소규모 기업이 AI 시스템을 구축하고 배포하는 데 어려움을 해결하기 위해.
• 학술적 AI 연구 모델과 생산용 애플리케이션 사이의 격차를 해소하기 위해 접근 가능하고 오픈소스 기반의 클라우드 서비스를 제공함으로써.
• 표준화되고 성능이 우수한 RESTful API를 통해 다양한 애플리케이션에 AI 기능을 신속하게 통합할 수 있도록 하기 위해.
• 모듈러 컨트롤러 아키텍처를 통해 개발자가 커스텀 모델을 플러그인 방식으로 통합할 수 있도록 확장성을 지원하기 위해.
• 로드 밸런싱, 스트레스 테스트 및 텐서트런트 기반 추론 최적화를 통해 고성능과 안정성을 확보하기 위해.

제안 방법

• XCloud는 백엔드 프레임워크로 디자인을 사용하고, 모델 훈련 및 추론에는 파이토치를 구현했습니다.
• HTTP POST 및 GET 메서드를 사용하여 RESTful API를 통해 AI 서비스를 노출하며, 입력은 이미지 URL 또는 원시 이미지 데이터를 통해 제공됩니다.
• 플랫폼은 유지보수성과 확장성을 위해 뷰, 컨트롤러, 모델을 분리한 모듈러 MVC 아키텍처를 사용합니다.
• 사전 훈련된 모델로는 ResNet18, ResNet50, DenseNet121, HMTNet이 있으며, 식물 및 질병 진단과 같은 작업을 위해 특정 데이터셋에 맞춰 미세조정되었습니다.
• 모델 추론은 텐서트런트를 사용하여 가속화되었으며, 두 개의 2080TI GPU에서 97.63 FPS를 기록하여, 원본 파이토치 추론(29.45 FPS)보다 훨씬 빠릅니다.
• 사용자 및 API 사용 데이터는 모니터링과 분석을 위해 MySQL 관계형 테이블에 기록됩니다.

실험 결과

연구 질문

• RQ1 비전문가 사용자(연구자 및 소규모 기업)가 AI 모델을 배포하는 데 쉽게 사용할 수 있도록 설계된 클라우드 플랫폼은 어떻게 구성될 수 있는가?
• RQ2 RESTful API를 통한 AI 서비스의 효율적이고 확장 가능하며 스케일러블한 노출을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 텐서트런트를 활용한 모델 최적화가 실환경에서 추론 지연과 처리량에 어떤 영향을 미치는가?
• RQ4 통합된 플랫폼이 이미지 분류, 얼굴 속성 예측, 콘텐츠 필터링과 같은 다양한 AI 작업을 얼마나 잘 지원할 수 있는가?
• RQ5 표준 하드웨어를 사용할 때 실제 워크로드 조건에서 달성할 수 있는 성능 및 안정성 메트릭은 무엇인가?

주요 결과

• 피부 질환 진단에 대해 평균 16ms, 얼굴 미모 예측에 대해 25ms의 지연을 기록했으며, 스트레스 테스트에서 100% 성공률를 확보했습니다.
• JMeter 스트레스 테스트를 통해 로드 조건 하에서 모든 테스트된 API에서 오류 없이 고안정성을 입증했습니다.
• 두 개의 2080TI GPU에서 텐서트런트 기반 추론이 DenseNet169에서 97.63 FPS를 기록하여, 원본 파이토치 추론(29.45 FPS) 대비 3.3배 향상되었습니다.
• 표준 하드웨어(2080TI GPU와 인텔 엑스본 CPU)에서 초당 20건의 쿼리(QPS)를 처리할 수 있어 강력한 확장성 잠재력을 보였습니다.
• 플러그인 컨트롤러 아키텍처를 통해 새로운 AI 모델을 간편하게 통합할 수 있어 커스텀 모델 배포의 부담을 줄였습니다.
• 깃허브에 오픈소스로 배포되어 연구자들이 시스템에 접근하고 확장하며 재현할 수 있어 재현성과 협업을 촉진합니다.