[論文レビュー] Regularized Deep Networks in Intelligent Transportation Systems: A Taxonomy and a Case Study

Mohammad Mahdi Bejani, Mehdi Ghatee|arXiv (Cornell University)|Nov 8, 2019

Traffic Prediction and Management Techniques参考文献 18被引用数 13

ひとこと要約

本論文は、知的交通システム（ITS）における深層ニューラルネットワークの正則化手法の分類法を提示し、モデルの一般化性能を損なう過学習を解決することを目的としている。ドロップアウトや重み減衰を含む手法を用いた正則化畳み込みニューラルネットワーク（CNN）を用いたドライブセーフティの事例研究を提案し、実世界のITS応用において、性能と耐障害性の向上を実証している。

ABSTRACT

Intelligent Transportation Systems (ITS) are much correlated with data science mechanisms. Among the different correlation branches, this paper focuses on the neural network learning models. Some of the considered models are shallow and they get some user-defined features and learn the relationship, while deep models extract the necessary features before learning by themselves. Both of these paradigms are utilized in the recent intelligent transportation systems (ITS) to support decision-making by the aid of different operations such as frequent patterns mining, regression, clustering, and classification. When these learners cannot generalize the results and just memorize the training samples, they fail to support the necessities. In these cases, the testing error is bigger than the training error. This phenomenon is addressed as overfitting in the literature. Because, this issue decreases the reliability of learning systems, in ITS applications, we cannot use such over-fitted machine learning models for different tasks such as traffic prediction, the signal controlling, safety applications, emergency responses, mode detection, driving evaluation, etc. Besides, deep learning models use a great number of hyper-parameters, the overfitting in deep models is more attention. To solve this problem, the regularized learning models can be followed. The aim of this paper is to review the approaches presented to regularize the overfitting in different categories of ITS studies. Then, we give a case study on driving safety that uses a regularized version of the convolutional neural network (CNN).

研究の動機と目的

• 知的交通システム（ITS）で使用される深層学習モデルにおける過学習を是正し、重要な応用分野における信頼性を損なわないようにすること。
• 交通予測、信号制御、緊急対応などのさまざまなITSタスクに適用された正則化手法をレビューおよび分類すること。
• ドライブセーフティに焦点を当てた正則化深層ネットワークの事例研究を通じて、その有効性を示すこと。
• ドロップアウトや重み減衰などの正則化手法を適用することで、モデルの一般化を向上させ、テスト誤差を低減すること。
• 研究者および実務家が実世界のITS応用において正則化深層ネットワークを適用するための包括的リファレンスを提供すること。

提案手法

• 著者らは、複数のITSアプリケーション分野における深層ニューラルネットワークの正則化手法について体系的なレビューを実施している。
• 彼らは、ITSにおける応用に基づき、重み減衰、ドロップアウト、バッチ正則化、早期停止、データ拡張の5つに正則化手法を分類している。
• ドライブセーフティのための正則化CNNを用いた事例研究が実施され、過学習を防ぐためにドロップアウトとL2正則化（重み減衰）が適用された。
• モデルは、ドライブ行動の分類を目的とした実世界のドライブデータで学習され、過学習とアンダーフィットのバランスを取るためにハイパーパrameterが最適化された。
• 一般化性能の評価には、ホールドアウトされたテストセットを用いた正確性、適合率、再現率、F1スコアなどの指標が用いられた。
• 正則化モデルと非正則化ベースラインモデルを比較することで、一般化性能および耐障害性の向上を定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 知的交通システム（ITS）における深層ニューラルネットワークの正則化手法の中で、最も効果的なものは何か？
• RQ2 過学習は、交通予測や緊急対応などの重要なITS応用分野における深層学習モデルの信頼性にどのように影響を与えるか？
• RQ3 ドライブセーフティ分類タスクにおいて、正則化はどの程度モデル一般化を向上させるか？
• RQ4 ドロップアウトや重み減衰などの正則化戦略は、実世界のITSデータセットでどの程度の性能を発揮するか？
• RQ5 さまざまな正則化手法は、学習性能を維持しながらテスト誤差をどの程度低減できるか、比較してみる。

主な発見

• 正則化は、ITSで使用される深層学習モデルにおける過学習を顕著に低減させ、非正則化モデルと比較してテスト誤差を低く抑える。
• 事例研究では、正則化CNNがドライブセーフティ分類においてより高い正確性とF1スコアを達成しており、未学習データに対しても一般化性能が向上している。
• ドロップアウトと重み減衰は、ドライブセーフティ事例研究において過学習の低減に特に効果的であり、モデルの耐障害性を高めた。
• 分類法の結果、データ拡張と早期停止は広く使われているが、高次元のITSデータでは構造的正則化に比べて効果が劣ることが判明した。
• 正則化モデルは、交通予測や信号制御を含む複数のITSタスクで、非正則化モデルを上回る性能を示した。これは、より優れた一般化性能のおかげである。
• 本研究は、信頼性が最重要視される安全関連のITS応用分野に深層学習モデルを導入するにあたり、正則化が不可欠であることを確認した。