[論文レビュー] OODIDA: On-board/Off-board Distributed Data Analytics for Connected Vehicles

Gregor Ulm, Emil Gustavsson+1 more|arXiv (Cornell University)|Feb 1, 2019

Distributed systems and fault tolerance参考文献 22被引用数 4

ひとこと要約

OODIDA は、リソース制限のあるエッジデバイス上で効率的なタスク配分と並列処理を可能にする、スケーラブルでオンボード／オフボード分散型のデータ分析プラットフォームです。Erlang/OTP を使用したメッセージ渡しと、言語に依存しないエンドポイントを備えており、クライントのリソースが限られている中でも大規模なデータワークロードを効果的に処理できます。

ABSTRACT

Connected vehicles may produce gigabytes of data per hour, which makes centralized data processing impractical at the fleet level. In addition, there are the problems of distributing tasks to edge devices and processing them efficiently. Our solution to this problem is OODIDA (On-board/off-board Distributed Data Analytics), which is a platform that tackles both task distribution to connected vehicles as well as concurrent execution of large-scale tasks on arbitrary subsets of clients. Its message-passing infrastructure has been implemented in Erlang/OTP, while the end points are language-agnostic. OODIDA is highly scalable and able to process a significant volume of data on resource-constrained clients.

研究の動機と目的

• コネクテッドビークルが生成する膨大なデータ量をスケールアップして処理する課題に対処すること。
• 異種でリソース制限のあるエッジデバイス間で、データ分析タスクを効率的に配布・実行できること。
• 任意のコネクテッドビークルのサブセットで並列処理を実現できるシステムを設計すること。
• 実際のファミリー規模の展開において、高いスケーラビリティとパフォーマンスを確保すること。
• 多様なデータ処理ワークロードを統合できる柔軟で言語に依存しないアーキテクチャを提供すること。

提案手法

• OODIDA は、Erlang/OTP で実装されたメッセージ渡しインfra を使用して、ビークルとオフボードサーバー間の通信と調整を管理します。
• 利用可能で能力に応じたコネクテッドビークルのサブセットを動的に選択することで、オンボードデバイスへのタスク配布を実現します。
• 選択されたビークル間で分析タスクを並列実行し、その計算能力を活用します。
• エンドポイントは言語に依存しないように設計されており、多様なデータ処理パイプラインとの統合が可能になっています。
• 水平スケーリングを想定したアーキテクチャとなっており、ファミリー全体で大規模なデータワークロードを処理できます。
• ビークル上のリソース制限に対処するため、軽量で効率的なタスク実行とメッセージ処理が実装されています。

実験結果

リサーチクエスチョン

• RQ1 リソース制限のある計算能力を持つコネクテッドビークルのファミリーに対して、どのように効率的にデータ分析タスクを配布できるか？
• RQ2 どのようなアーキテクチャが、ビークルの任意のサブセットで大規模な分析を並列実行可能にするか？
• RQ3 1台のビークルあたり時間当たり何ギガバイトもするデータを処理する分散システムが、スケーラビリティと信頼性を維持できるか？
• RQ4 言語に依存しないインターフェースが、多様なデータ処理コンponent間の相互運用性をどのように促進するか？
• RQ5 Erlang/OTP の使用が、車両エッジ環境における障害耐性とメッセージ渡し効率をどのように向上させるか？

主な発見

• OODIDA は、リソース制限がある中でも、コネクテッドビークルのファミリー全体で分散型データ分析を成功裏に実現し、大規模なデータワークロードを処理できることを示しました。
• Erlang/OTP に裏打ちされたメッセージ渡しアーキテクチャのおかげで、OODIDA は効率的な並列処理と障害耐性を実現し、高いスケーラビリティを示しました。
• オンボードデバイスに処理をオフロードすることで、OODIDA は中央集権的なデータセンターへの依存を減らし、システムのレジリエンスを高め、遅延を低減しました。
• 言語に依存しない設計により、多様なデータ処理モジュールのシームレスな統合が可能になり、拡張性と相互運用性が向上しました。
• OODIDA は、任意のビークルサブセットで分析タスクを効率的に並列実行でき、柔軟で動的なワークロード配分を実現しました。
• システムはエッジデバイス上で顕著なデータ量を処理できることを確認しており、コネクテッドビークルエコシステムにおける実運用の妥当性が裏付けられました。