[논문 리뷰] Regularized Deep Networks in Intelligent Transportation Systems: A Taxonomy and a Case Study

Mohammad Mahdi Bejani, Mehdi Ghatee|arXiv (Cornell University)|2019. 11. 08.

Traffic Prediction and Management Techniques참고 문헌 18인용 수 13

한 줄 요약

이 논문은 지능형 교통 시스템(ITS)에서 깊이 신경망의 정규화 기법에 대한 분류 체계를 제시하며, 모델 일반화를 약화시키는 과적합 문제를 다룹니다. 드롭아웃과 가중치 감쇠와 같은 기법을 통해 실생활 ITS 응용에서 성능과 내구성을 향상시킨 정규화된 합성곱 신경망(CNN)을 활용한 사례 연구를 제안합니다.

ABSTRACT

Intelligent Transportation Systems (ITS) are much correlated with data science mechanisms. Among the different correlation branches, this paper focuses on the neural network learning models. Some of the considered models are shallow and they get some user-defined features and learn the relationship, while deep models extract the necessary features before learning by themselves. Both of these paradigms are utilized in the recent intelligent transportation systems (ITS) to support decision-making by the aid of different operations such as frequent patterns mining, regression, clustering, and classification. When these learners cannot generalize the results and just memorize the training samples, they fail to support the necessities. In these cases, the testing error is bigger than the training error. This phenomenon is addressed as overfitting in the literature. Because, this issue decreases the reliability of learning systems, in ITS applications, we cannot use such over-fitted machine learning models for different tasks such as traffic prediction, the signal controlling, safety applications, emergency responses, mode detection, driving evaluation, etc. Besides, deep learning models use a great number of hyper-parameters, the overfitting in deep models is more attention. To solve this problem, the regularized learning models can be followed. The aim of this paper is to review the approaches presented to regularize the overfitting in different categories of ITS studies. Then, we give a case study on driving safety that uses a regularized version of the convolutional neural network (CNN).

연구 동기 및 목표

• 지능형 교통 시스템(ITS)에서 사용되는 딥 러닝 모델의 과적합 문제를 다루어, 핵심 응용 분야에서의 신뢰성을 저하시키지 않도록 합니다.
• 교통 예측, 신호 제어, 비상 대응와 같은 다양한 ITS 작업에 적용된 정규화 기법을 검토하고 분류합니다.
• 정규화된 깊이 신경망의 효과성을 주행 안전에 중점을 둔 사례 연구를 통해 입증합니다.
• 드롭아웃과 가중치 감쇠와 같은 정규화 방법을 적용하여 모델 일반화를 향상시키고 테스트 오차를 감소시킵니다.
• 연구자와 실무자들이 실생활 ITS 응용 분야에서 정규화된 깊이 신경망을 적용하는 데 참고할 수 있는 종합적인 참고 자료를 제공합니다.

제안 방법

• 저자는 다양한 ITS 응용 분야에서 깊이 신경망의 정규화 기법에 대해 체계적인 리뷰를 수행합니다.
• ITS에서의 적용 기반으로 정규화 방법을 가중치 감쇠, 드롭아웃, 배치 정규화, 조기 정지, 데이터 증강으로 분류합니다.
• 과적합을 방지하기 위해 드롭아웃과 L2 정규화(가중치 감쇠)를 적용한 정규화된 CNN을 활용한 사례 연구를 수행합니다.
• 실생활 주행 데이터를 기반으로 모델을 훈련하여 주행 행동을 분류하며, 과소적합과 과적합을 균형 잡기 위해 초모수를 조정합니다.
• 일반화 능력을 평가하기 위해 보류된 테스트 세트에서 정확도, 정밀도, 재현율, F1 점수 등의 지표를 사용해 성능을 평가합니다.
• 정규화된 모델을 비정규화된 기준 모델과 비교하여 일반화 및 내구성 향상 정도를 정량화합니다.

실험 결과

연구 질문

• RQ1 지능형 교통 시스템(ITS)에서 깊이 신경망에 적용할 수 있는 가장 효과적인 정규화 기법은 무엇인가요?
• RQ2 과적합은 교통 예측 및 비상 대응와 같은 핵심 ITS 응용 분야에서 딥 러닝 모델의 신뢰성에 어떤 영향을 미치나요?
• RQ3 정규화는 주행 안전 분류 작업에서 모델 일반화를 어느 정도 향상시키나요?
• RQ4 드롭아웃, 가중치 감쇠 등의 정규화 전략 중 어떤 것이 실생활 ITS 데이터셋에서 가장 높은 성능을 낼 수 있나요?
• RQ5 다양한 정규화 기법은 훈련 성능를 유지하면서 테스트 오차를 줄이는 데 어떻게 비교될 수 있나요?

주요 결과

• 정규화는 ITS에서 사용되는 딥 러닝 모델의 과적합을 크게 감소시켜 비정규화 모델 대비 낮은 테스트 오차를 유도합니다.
• 사례 연구 결과, 정규화된 CNN은 주행 안전 분류에서 더 높은 정확도와 F1 점수를 기록하며, 미리 보지 않은 데이터에 대한 일반화 능력이 향상되었습니다.
• 드롭아웃과 가중치 감쇠는 주행 안전 사례 연구에서 과적합을 줄이는 데 특히 효과적이었으며, 모델의 내구성을 향상시켰습니다.
• 분류 체계는 데이터 증강과 조기 정지를 널리 사용하지만, 고차원의 ITS 데이터에서는 구조적 정규화보다 효과가 떨어지는 것으로 드러났습니다.
• 정규화된 모델은 교통 예측 및 신호 제어를 포함한 여러 ITS 작업에서 비정규화된 모델보다 뛰어난 성능을 보이며, 더 나은 일반화 능력을 확보했습니다.
• 이 연구는 안전이 핵심인 ITS 응용 분야에서 딥 러닝 모델을 구현할 때 정규화가 필수적임을 확인했습니다.