[논문 리뷰] OODIDA: On-board/Off-board Distributed Data Analytics for Connected Vehicles

Gregor Ulm, Emil Gustavsson외 1명|arXiv (Cornell University)|2019. 02. 01.

Distributed systems and fault tolerance참고 문헌 22인용 수 4

한 줄 요약

OODIDA는 자동차 간 네트워크를 위한 확장성 있고, 차량 내부/외부 분산형 데이터 분석 플랫폼으로, 자원이 제한된 엣지 디바이스 간에 효율적인 작업 분배와 동시 처리를 가능하게 한다. 메시지 전달을 위한 Erlang/OTP를 기반으로 하여 제작되었으며, 언어에 종속되지 않는 엔드포인트를 지원함으로써, 제한된 클라이언트 자원에도 불구하고 대규모 데이터 워크로드를 효과적으로 처리할 수 있다.

ABSTRACT

Connected vehicles may produce gigabytes of data per hour, which makes centralized data processing impractical at the fleet level. In addition, there are the problems of distributing tasks to edge devices and processing them efficiently. Our solution to this problem is OODIDA (On-board/off-board Distributed Data Analytics), which is a platform that tackles both task distribution to connected vehicles as well as concurrent execution of large-scale tasks on arbitrary subsets of clients. Its message-passing infrastructure has been implemented in Erlang/OTP, while the end points are language-agnostic. OODIDA is highly scalable and able to process a significant volume of data on resource-constrained clients.

연구 동기 및 목표

• 대규모 연결 차량에서 생성되는 거대한 데이터 볼륨을 스케일링 가능한 방식으로 처리하는 데 도전하는 것.
• 이질적이고 자원이 제한된 엣지 디바이스 간에 데이터 분석 작업을 효율적으로 분배하고 실행하는 것.
• 연결된 차량의 임의의 부분 집합에서 동시 처리를 지원하는 시스템을 설계하는 것.
• 실제 플릿 수준의 배포 환경에서 높은 확장성과 성능을 보장하는 것.
• 다양한 데이터 처리 워크로드를 통합하는 데 유연하고 언어에 종속되지 않는 아키텍처를 제공하는 것.

제안 방법

• OODIDA는 Erlang/OTP로 구현된 메시지 전달 인fra를 활용하여 차량과 외부 서버 간의 통신 및 조율을 관리한다.
• 가용성과 능력에 기반해 동적으로 연결된 차량의 부분 집합을 선택하여 차량 내부 장치에 작업을 분배한다.
• 선택된 차량 간에 분석 작업을 동시 실행할 수 있도록 하며, 이는 차량의 계산 능력을 활용한다.
• 엔드포인트는 언어에 종속되지 않도록 설계되어 있어 다양한 데이터 처리 파이프라인과의 통합이 가능하다.
• 시스템은 수평적 확장을 고려해 설계되어, 플릿 전반에 걸쳐 대규모 데이터 워크로드를 처리할 수 있다.
• 차량 내 자원 제약은 경량적이고 효율적인 작업 실행 및 메시지 처리를 통해 해결된다.

실험 결과

연구 질문

• RQ1 자원이 제한된 컴퓨팅 능력을 지닌 연결 차량 플릿에서 데이터 분석 작업을 어떻게 효율적으로 분배할 수 있는가?
• RQ2 어떤 아키텍처가 차량의 임의의 부분 집합에서 대규모 분석을 동시 실행할 수 있도록 하는가?
• RQ3 차량당 시간당 수기비터의 데이터를 처리할 때 분산 시스템이 확장성과 신뢰성을 유지하는 데에는 어떤 요소가 중요한가?
• RQ4 언어에 종속되지 않는 인터페이스는 다양한 데이터 처리 구성 요소 간의 상호 운용성에 어떤 역할을 하는가?
• RQ5 Erlang/OTP의 사용이 차량 엣지 환경에서 장애 내성과 메시지 전달 효율성을 어떻게 향상시키는가?

주요 결과

• OODIDA는 자원 제약에도 불구하고 연결 차량 플릿 전반에 걸쳐 분산된 데이터 분석을 성공적으로 구현하여 대규모 데이터 워크로드를 처리할 수 있었다.
• Erlang/OTP 기반의 메시지 전달 아키텍처 덕분에 높은 확장성을 입증하였으며, 이는 효율적인 동시성과 장애 내성 지원을 가능하게 했다.
• 차량 내부 장치에 처리를 이관함으로써 중앙 집중식 데이터 센터에 대한 의존도를 낮추었고, 이는 시스템의 회복성 향상과 지연 시간 감소에 기여했다.
• 언어에 종속되지 않는 설계 덕분에 다양한 데이터 처리 모듈 간의 원활한 통합이 가능해져 확장성과 상호 운용성이 향상되었다.
• OODIDA는 차량의 임의의 부분 집합에서 분석 작업을 효율적으로 동시 실행하여, 영리하고 유연한 워크로드 분배가 가능함을 입증했다.
• 시스템은 엣지 디바이스에서 상당한 양의 데이터를 처리할 수 있었으며, 이는 연결 차량 생태계에서의 실질적 배포 가능성에 대한 타당성을 입증했다.