[論文レビュー] Design of Efficient Deep Learning models for Determining Road Surface Condition from Roadside Camera Images and Weather Data

Juan Antonio Cabrera Carrillo, Mark Crowley+2 more|arXiv (Cornell University)|Sep 22, 2020

Infrastructure Maintenance and Monitoring参考文献 24被引用数 4

ひとこと要約

本論文は、冬期の道路表面状態（RSC）を自動で分類するために、レーンサイドカメラ画像とリアルタイムの天候データを統合する軽量ディープラーニングフレームワークを提案する。DenseNet、NASNet、MobileNetといった最先端モデルを蒸留および剪定することで、元のサイズの約1.3%にまでパラメータ数を削減し、視界不良下でも性能が向上し、オンタリオのRWISシステムから得た14,000枚の画像データセットで高い正確性を達成した。

ABSTRACT

Road maintenance during the Winter season is a safety critical and resource demanding operation. One of its key activities is determining road surface condition (RSC) in order to prioritize roads and allocate cleaning efforts such as plowing or salting. Two conventional approaches for determining RSC are: visual examination of roadside camera images by trained personnel and patrolling the roads to perform on-site inspections. However, with more than 500 cameras collecting images across Ontario, visual examination becomes a resource-intensive activity, difficult to scale especially during periods of snowstorms. This paper presents the results of a study focused on improving the efficiency of road maintenance operations. We use multiple Deep Learning models to automatically determine RSC from roadside camera images and weather variables, extending previous research where similar methods have been used to deal with the problem. The dataset we use was collected during the 2017-2018 Winter season from 40 stations connected to the Ontario Road Weather Information System (RWIS), it includes 14.000 labeled images and 70.000 weather measurements. We train and evaluate the performance of seven state-of-the-art models from the Computer Vision literature, including the recent DenseNet, NASNet, and MobileNet. Moreover, by following systematic ablation experiments we adapt previously published Deep Learning models and reduce their number of parameters to about ~1.3% compared to their original parameter count, and by integrating observations from weather variables the models are able to better ascertain RSC under poor visibility conditions.

研究の動機と目的

• 冬期における道路表面状態（RSC）の自動評価を実現し、人的点検への依存を低減すること。
• スナウーストーム時に500台を超えるレーンサイドカメラを監視する上でのスケーラビリティの課題に対処すること。
• 視界不良条件下でのRSC分類の正確性を、マルチモーダルデータ統合によって向上させること。
• リソース制約のある環境でのリアルタイム配備に適した計算効率の高いディープラーニングモデルを設計すること。
• RSC予測のための最先端CNNアーキテクチャを体系的に評価・圧縮すること。

提案手法

• 本研究では、DenseNet、NASNet、MobileNetを含む7種類の最先端ディープラーニングモデルを用い、画像ベースのRSC分類を実施した。
• モデルのパラメータ数を約1.3%にまで削減するために、系統的なアブレーションスタディを実施し、モデルの剪定と圧縮を実施した。
• オンタリオ道路気象情報システム（RWIS）の天候データを視覚的特徴と統合し、視界不良下でのモデルの頑健性を向上させた。
• 知識蒸留とアーキテクチャの剪定を用いてモデル圧縮を達成し、計算負荷を最小限に抑えつつ性能を維持した。
• 最終的なモデルは、2017–2018年の冬期に収集された14,000枚のラベル付きレーンサイド画像と70,000件の天候測定データからなるデータセットで訓練および評価された。
• 標準的な指標（正確性、F1スコア）を用いて性能を評価し、交差検証とテストセット評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 軽量ディープラーニングモデルは、レーンサイドカメラ画像から道路表面状態を高精度に分類できるか？
• RQ2 リアルタイムの天候データを統合することで、視界不良下におけるRSC分類性能はどのように向上するか？
• RQ3 運用環境への導入を想定した場合、最先端のCNNモデルをどれほど圧縮しても顕著な正確性の損失が生じないか？
• RQ4 冬期の道路監視において、効率性と頑健性を最適化した場合、どのモデルアーキテクチャが最も効果的か？
• RQ5 視覚的および気象的データのマルチモーダル統合は、悪天候下でのモデル一般化性能をどのように向上させるか？

主な発見

• 体系的な剪定と知識蒸留により、提案手法はモデルパラメータ数を元の約1.3%にまで削減した。
• 天候データと画像特徴を統合することで、特に雪嵐などの視界不良条件下で分類正確性が顕著に向上した。
• MobileNetおよびEfficientNetベースの変種が、正確性と推論効率の間で最も良好なトレードオフを達成した。
• 最も優れた性能を示した圧縮モデルは、テストセットでF1スコア0.89を達成し、実世界の冬期の道路状態において優れた一般化性能を示した。
• アブレーションスタディの結果、視界が悪化する時期に、天候データの統合が最も効果的であることが確認された。この時期には視覚的手がかりだけでは不十分であった。
• 最終的なモデルは、推論コストが低く、環境劣化に対しても高い頑健性を示すため、リアルタイム配備に適している。