[논문 리뷰] Implementing a Cloud Platform for Autonomous Driving

Shaoshan Liu, Jie Tang외 3명|arXiv (Cornell University)|2017. 04. 10.

Scientific Computing and Data Management참고 문헌 3인용 수 11

한 줄 요약

이 논문은 자율주행을 위한 통합 클라우드 플랫폼 인프라를 제안하며, 분산 컴퓨팅, 스토리지, 이종 가속기들을 통합하여 시뮬레이션, 딥러닝 훈련, 고해상도 지ap 생성과 같은 핵심 워크로드를 지원한다. 저자들은 모듈러하고 클라우드 네이티브 설계 및 최적화된 자원 오케스트레이션을 통해 효율적이고 종단 간(end-to-end) 지원이 가능한 확장 가능하고 프로덕션 준비된 시스템을 구현함을 보여준다.

ABSTRACT

Autonomous driving clouds provide essential services to support autonomous vehicles. Today these services include but not limited to distributed simulation tests for new algorithm deployment, offline deep learning model training, and High-Definition (HD) map generation. These services require infrastructure support including distributed computing, distributed storage, as well as heterogeneous computing. In this paper, we present the details of how we implement a unified autonomous driving cloud infrastructure, and how we support these services on top of this infrastructure.

연구 동기 및 목표

• 자율주행 워크로드에 특화된 통합 클라우드 인프라 설계 및 구현을 위한 목표.
• 분산 시뮬레이션, 오프라인 딥러닝 훈련, 고해상도 지도 생성과 같은 다양한 계산 집약적 작업을 지원하기 위한 목표.
• GPU, TPU 등 이종 컴퓨팅을 분산 스토리지 및 확장 가능한 오케스트레이션과 통합하기 위한 목표.
• 클라우드 환경에서 자율주행 소프트웨어 스택의 효율적이고 신뢰성 있고 확장 가능한 배포를 가능하게 하기 위한 목표.
• 자율주행 시스템 개발 전 주기(full lifecycle)를 지원하는 프로덕션 수준 플랫폼 제공을 위한 목표.

제안 방법

• 모듈러한 구성 요소를 갖춘 마이크로서비스 아키텍처 기반 클라우드 인프라로 구성된 플랫폼으로, 시뮬레이션, 훈련, 지ap 생성 기능을 전담한다.
• 분산 컴퓨팅 프레임워크를 활용해 클러스터 내 여러 머신을 대상으로 시뮬레이션 및 훈련을 확장한다.
• 딥러닝 워크로드를 가속하기 위해 동적 자원 스케줄러를 통해 이종 가속기(GPU, TPU)를 오케스트레이션한다.
• 센서 데이터 및 고해상도 지도 자산을 포함한 대규모 데이터셋을 관리하기 위해 분산 스토리지 시스템을 사용한다.
• 워크로드 격리 및 이식성을 위해 컨테이너라이제이션 및 오케스트레이션(Kubernetes 유사 패턴)을 활용한다.
• 중앙 집중식 제어 평면이 플랫폼 전반에서 작업 스케줄링, 모니터링, 장애 복구를 조율한다.

실험 결과

연구 질문

• RQ1 통합 클라우드 플랫폼은 자율주행 개발의 다양한 요구 수준이 높은 워크로드를 어떻게 효율적으로 지원할 수 있는가?
• RQ2 분산 컴퓨팅, 스토리지, 이종 가속기를 효과적으로 통합할 수 있는 아키텍처 패턴은 무엇인가?
• RQ3 시뮬레이션, 훈련, 고해상도 지도 생성이 단일 클라우드 인fra에서 어떻게 함께 위치하고 오케스트레이션될 수 있는가?
• RQ4 프로덕션 수준의 자율주행 클라우드에서 달성 가능한 성능 및 확장성 보장 조건은 무엇인가?
• RQ5 저지연 시간 작업 실행을 유지하면서도 이종 하드웨어 전반에서 자원 활용도를 최적화하는 방법은 무엇인가?

주요 결과

• 플랫폼은 시뮬레이션, 모델 훈련, 고해상도 지도 생성을 포함한 종단 간 자율주행 개발 파이프라인을 성공적으로 지원한다.
• 이종 가속기 통합으로 인해 인식 및 계획에 사용되는 딥러닝 모델의 훈련 시간이 크게 단축된다.
• 분산 시뮬레이션 워크로드는 수백 개의 노드를 통해 효과적으로 확장되어 새로운 알고리즘의 고정밀 테스트를 가능하게 한다.
• 컨테이너라이제이션을 통한 지능적인 작업 스케줄링 및 워크로드 격리로 인해 높은 자원 활용도를 달성한다.
• 반복적인 개발 주기에서 필수적인 저지연 시간 작업 제출 및 복구 성능을 보여준다.
• 모듈러하고 클라우드 네이티브 설계 덕분에 확장성이 뛰어나 향후 실시간 데이터 처리 및 오버-the-에어 업데이트와 같은 워크로드도 지원할 수 있다.