[論文レビュー] Big Data application in congestion detection and classification using Apache spark

Atousa Zarindast, Anuj Sharma|arXiv (Cornell University)|Jan 16, 2021

Traffic Prediction and Management Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、アイオワ州の高速道路における空間的・時間的混雑状態の特定と再発混雑（RC）分類を、76 GB のプローブ車両データを用いてスケーラブルで Spark に基づく大規模データ処理フレームワークを提案する。Apache Spark のメモリ内処理と HDFS ストレージを活用することで、計算時間を 99.88% 減少させつつ 90% の精度を維持し、3,017 つの高速道路セグメントにわたり、ほぼリアルタイムの交通管理とパターン同定を可能にする。

ABSTRACT

With the era of big data, an explosive amount of information is now available. This enormous increase of Big Data in both academia and industry requires large-scale data processing systems. A large body of research is behind optimizing Spark's performance to make it state of the art, a fast and general data processing system. Many science and engineering fields have advanced with Big Data analytics, such as Biology, finance, and transportation. Intelligent transportation systems (ITS) gain popularity and direct benefit from the richness of information. The objective is to improve the safety and management of transportation networks by reducing congestion and incidents. The first step toward the goal is better understanding, modeling, and detecting congestion across a network efficiently and effectively. In this study, we introduce an efficient congestion detection model. The underlying network consists of 3017 segments in I-35, I-80, I-29, and I-380 freeways with an overall length of 1570 miles and averaged (0.4-0.6) miles per segment. The result of congestion detection shows the proposed method is 90% accurate while has reduced computation time by 99.88%.

研究の動機と目的

• 大規模高速道路ネットワークにおける混雑状態および再発混雑（RC）の検出を目的としたスケーラブルで高性能な大規模データ処理フレームワークの開発。
• 従来の研究が小規模な地理的領域や短い時間範囲に限定されているという限界を克服し、包括的な空間的・時間的分析を可能にする。
• リアルタイム交通管理応用においても高い検出精度を維持しつつ、計算時間とコストを削減する。
• Apache Spark のメモリ内処理と HDFS を活用し、大規模な交通データを効率的かつ分散処理可能にする。
• リアルタイム交通監視および政策立案に応用可能な汎用的で計算効率の良いソリューションを提供する。

提案手法

• フレームワークは、Apache Spark のレジリエント分散データセット（RDD）モデルを用い、アイオワ州の高速道路（I-35、I-80、I-29、I-380）の 3,017 セグメントにわたり、76 GB のプローブ車両速度データを処理する。
• データは Hadoop 分散ファイルシステム（HDFS）に格納・管理され、スケーラブルかつフェイルセーフなデータアクセスを実現する。
• 本手法は三段階パイプラインを採用する：(1) データ前処理、(2) ベイズ的変化点検出による混雑状態同定、(3) 再発混雑と非再発混雑の分類。
• 各セグメントと時間帯ごとに速度プロファイルを分析し、混雑イベントを検出する。再発混雑は、ピーク時間帯に一貫して混雑が継続する状態として定義される。
• システムは PySpark を用いて高水準プログラミングを実施し、メモリ内計算、パーティショニング、ブロードキャスト変数といった Spark の最適化機能を活用して性能を向上させる。
• 精度は標準指標（真正陽性（TP）、真陰性（TN）、偽陽性（FP）、偽陰性（FN））を用いて評価され、精度は (TP + TN) / (TP + TN + FP + FN) で計算される。

実験結果

リサーチクエスチョン

• RQ1 大規模でマルチセグメントの高速道路ネットワークにわたり、混雑状態および再発混雑パターンを検出するための大規模データ処理フレームワークは、どのように設計可能か？
• RQ2 従来のデータ駆動型手法と比較して、Apache Spark は混雑状態検出において、計算時間とコストをどの程度削減できるか？
• RQ3 スケーラブルな大規模データ処理パイプラインを用いた交通混雑分析において、検出精度と計算効率のトレードオフはどのようなものか？
• RQ4 Spark のような分散型メモリ内処理システムは、テラバイト規模の交通データをほぼリアルタイムで処理しつつ、高い精度を達成できるか？
• RQ5 同じデータセット上で、最近発表されたデータ駆動型混雑状態検出手法と比較して、本手法の性能と精度はどの程度か？

主な発見

• 提案されたフレームワークは 90% の混雑状態検出精度を達成し、計算効率の面でベースライン手法を顕著に上回った。
• 計算時間は、同じハードウェアリソースを用いて、ベースラインの 151 時間からわずか 10 分にまで 99.88% 減少した。
• Amazon Web Services（AWS）上での総処理コストは、$488 から $1.34 にまで削減され、顕著なコスト削減が実現した。
• 本手法は再発混雑パターンを正常に同定でき、図 5 および 6 の可視化結果により、デス・モインズ・ループでピーク時間帯に一貫した混雑が確認された。
• トレードオフ分析の結果、精度を 10% 低下させることで、処理時間を 99.88% 減少させることができ、強力なスケーラビリティと効率性が示された。
• フレームワークは 76 GB のデータを 3,017 つの高速道路セグメント（1,570 マイル）にわたり 10 分で処理し、高いスケーラビリティとリアルタイム処理の実現可能性を示した。