[論文レビュー] Mapping road safety features from streetview imagery: A deep learning approach

Arpan Man Sainju, Zhe Jiang|arXiv (Cornell University)|Jul 15, 2019

Automated Road and Building Extraction参考文献 27被引用数 5

ひとこと要約

本論文では、ストリートレベルの画像からレーンの安全施設（ラムプストリップ、コンクリートバリア、金属衝突バリアなど）を自動で分類するため、畳み込みニューラルネットワーク（CNN）と長短期記憶（LSTM）ネットワークを組み合わせたディーパンラーニングフレームワークを提案する。道路ネットワークに沿った空間的連続的依存関係をモデル化することで、ベースライン手法に比べ分類精度が向上し、テストデータセットでFスコアが5%向上した。この手法により、アラバマ州の主要高速道路全域における大規模な安全施設マッピングが可能になった。

ABSTRACT

Each year, around 6 million car accidents occur in the U.S. on average. Road safety features (e.g., concrete barriers, metal crash barriers, rumble strips) play an important role in preventing or mitigating vehicle crashes. Accurate maps of road safety features is an important component of safety management systems for federal or state transportation agencies, helping traffic engineers identify locations to invest on safety infrastructure. In current practice, mapping road safety features is largely done manually (e.g., observations on the road or visual interpretation of streetview imagery), which is both expensive and time consuming. In this paper, we propose a deep learning approach to automatically map road safety features from streetview imagery. Unlike existing Convolutional Neural Networks (CNNs) that classify each image individually, we propose to further add Recurrent Neural Network (Long Short Term Memory) to capture geographic context of images (spatial autocorrelation effect along linear road network paths). Evaluations on real world streetview imagery show that our proposed model outperforms several baseline methods.

研究の動機と目的

• ストリートビュー画像を用いた道路安全施設の手動マッピングの高コストかつ非効率な問題に対処すること。
• 線形の道路ネットワークに沿った連続するストリートビュー画像における空間的自己相関をモデル化すること。
• 画像シーケンスにおける連続的文脈を活用することで、ラムプストリップやバリアなどの安全施設の分類精度を向上させること。
• ディープラーニングを用いて交通機関機関向けにスケーラブルかつ自動化された安全施設マッピングを可能にすること。
• マルチクラス道路安全施設分類において、共有LSTMと個別LSTMのブランチの有効性を比較すること。

提案手法

• ハイブリッドディープラーニングモデルは、個々のストリートビュー画像からの特徴抽出にCNNを、道路ルートに沿った連続する画像間の依存関係をモデル化するのにLSTMを統合する。
• 2つのバリエーションを評価した：すべてのクラスに共通のLSTMを使用する共有LSTMモデルと、クラスごとに1つのLSTMを別々に使用する個別LSTMモデル。
• 空間的自己相関を活用するため、道路ネットワークセグメントに沿って画像を順番に処理し、地理的文脈を捉える。
• 本手法は、アラバマ州の主要高速道路から得た実世界のストリートビュー画像を用い、3つの安全施設クラスについて手動でアノテートされたトレーニングおよび検証データを活用する。
• 2つのテストセット（オックスフォード、アラバマ州とタスカルーサ、アラバマ州）を用い、Fスコア、適合率、再現率を指標に性能を評価した。
• 事例研究として、最も性能の優れたモデル（CNN-separateLSTM）を用い、アラバマ州のすべての主要高速道路にまたがる69,500枚のストリートビュー画像を処理し、大規模な安全施設マップを生成した。

実験結果

リサーチクエスチョン

• RQ1 CNNとLSTMを組み合わせたディープラーニングモデルは、標準的なCNNに比べ、ストリートビュー画像における道路安全施設の分類精度を向上させることができるか？
• RQ2 道路ネットワークに沿った連続的空間的依存関係をモデル化することで、空間スケールが異なる安全施設の分類性能にどのような影響を与えるか？
• RQ3 各クラスごとに個別LSTMを使用することは、複数の種類の道路安全施設を分類する際に、共有LSTMアーキテクチャを上回る性能を発揮するか？
• RQ4 本モデルは、トレーニングおよび検証データに含まれない地域、例えばタスカルーサ、アラバマ州などにも、どの程度一般化可能か？
• RQ5 本モデルは、交通インfra構築計画に適した信頼性の高い大規模な安全施設マップを生成できるか？

主な発見

• CNN-separateLSTMモデルは、タスカルーサのテストセットで、最良のベースライン手法に比べてFスコアが5%高い結果を示し、クラス固有の連続的モデリングによる性能向上を実証した。
• CNNオンリーモデルでは孤立した誤分類が生じたが、LSTM部により、特にCNN-sharedLSTMおよびCNN-separateLSTMモデルでその誤分類が是正された。
• CNN-separateLSTMモデルはCNN-sharedLSTMモデルを上回った。これは、クラス固有のシーケンスを個別にモデル化することで分類精度が向上することを示している。
• 本モデルは、アラバマ州の主要高速道路全域で、ラムプストリップが付与された54,890枚（約1,200 km）、金属衝突バリアが付与された12,841枚（約257 km）、コンクリートバリアが付与された26,997枚（約540 km）の画像を正しくマッピングした。
• 予測マップは、地面の事実と整合性のある空間的パターンを示した：長距離にわたる連続的なラムプストリップ、短距離で離散的な金属バリア、都市部や橋梁付近に多く見られる長さが変動するコンクリートバリア。
• ランダムサンプリングによる検証により、実世界での展開において高い正確性が確認された。