[논문 리뷰] Investigating performance of neural networks and gradient boosting models approximating microscopic traffic simulations in traffic optimization tasks

Paweł Góra, Maciej Brzeski외 3명|arXiv (Cornell University)|2018. 12. 02.

Data Visualization and Analytics참고 문헌 10인용 수 4

한 줄 요약

이 논문은 실시간 교통 신호 최적화를 위한 미세한 교통 시뮬레이션을 근사하기 위해 신경망과 LightGBM 모델을 사용할 때, 유전 알고리즘으로 발견한 해(특히 局부 최적점 근처)에서 예측 오차가 랜덤 테스트 세트에 비해 현저히 높아지는 이유를 조사한다. 강력한 일반화 성능에도 불구하고 이러한 현상이 발생한다. 연구는 훈련 데이터에서 이러한 영역이 부족하게 포함되어 있고, 모델이 근사 오차를 최소화하도록 편향되어 있음을 핵심 원인으로 규명하며, 문제를 완화하기 위해 주도적 학습과 앙상블 방법을 제안한다.

ABSTRACT

We analyze the accuracy of traffic simulations metamodels based on neural networks and gradient boosting models (LightGBM), applied to traffic optimization as fitness functions of genetic algorithms. Our metamodels approximate outcomes of traffic simulations (the total time of waiting on a red signal) taking as an input different traffic signal settings, in order to efficiently find (sub)optimal settings. Their accuracy was proven to be very good on randomly selected test sets, but it turned out that the accuracy may drop in case of settings expected (according to genetic algorithms) to be close to local optima, which makes the traffic optimization process more difficult. In this work, we investigate 16 different metamodels and 20 settings of genetic algorithms, in order to understand what are the reasons of this phenomenon, what is its scale, how it can be mitigated and what can be potentially done to design better real-time traffic optimization methods.

연구 동기 및 목표

• 실시간 교통 최적화에서 교통 시뮬레이션 출력을 근사하는 데 사용되는 머신러닝 메타모델(신경망 및 LightGBM)의 성능 저하를 조사하는 것.
• 랜덤 테스트 세트에 대해 강력한 일반화 성능을 보이지만, 유전 알고리즘에 의해 근사 최적으로 식별된 교통 신호 설정에서 예측 오차가 증가하는 이유를 이해하는 것.
• 모델 아키텍처(예: 활성화 함수 등)와 유전 알고리즘의 초모수가 최적화 경로에서 오차 분포에 미치는 영향을 분석하는 것.
• 국부 최적점 영역에서 오차가 증가하는 원인을 규명하고, 실생활에 적용되는 ML 가속 교통 최적화의 완화 전략을 제안하는 것.
• 85,336건의 교통 시뮬레이션 평가를 포함한 공개 데이터셋을 제공하여 교통 시뮬레이션 메타모델링 분야의 추가 연구를 가능하게 하는 것.

제안 방법

• 미세한 교통 시뮬레이션을 사용해 생성한 85,336개의 교통 신호 설정 데이터셋을 기반으로 8개의 신경망 및 8개의 LightGBM 메타모델을 훈련시켰다. 이는 교통 시뮬레이션 프레임워크(TSF)를 사용한 것이다.
• 메타모델을 유전 알고리즘 내의 적합도 함수로 사용하여, 빨간 신호 대기 시간의 총합을 최소화하는 교통 신호 간격을 최적화했다.
• 랜덤 테스트 세트와 유전 알고리즘 경로에서 추출한 설정, 특히 최종(최고) 해를 중심으로 모델 성능을 평가했다.
• 예측된 대기 시간과 시뮬레이션 결과를 비교한 오차 분석을 수행하였으며, 고정도 영역에서의 분포 이탈에 초점을 맞췄다.
• 다양한 메타모델에 대해 유전 알고리즘의 수렴 패턴을 시각화하기 위해 주성분 분석(PCA)을 적용했다.
• 주도적 학습(신규 GA 생성 샘플을 선택적으로 재훈련)과 앙상블 학습(다양한 모델의 예측 평균화)을 포함한 완화 전략을 제안했다.

실험 결과

연구 질문

• RQ1 실시간 교통 최적화에 사용되는 머신러닝 메타모델이, 랜덤 테스트 세트에 비해 유전 알고리즘으로 발견된 해에서 예측 오차가 현저히 높아지는 이유는 무엇인가?
• RQ2 신경망의 활성화 함수와 같은 초모수는 최적화 경로에서 근사 오차의 분포와 크기에 어떤 영향을 미치는가?
• RQ3 훈련 데이터에서 국부 최적의 교통 신호 설정이 부족하게 포함되어 있음이 이러한 영역에서 오차가 증가하는 데 기여하는 정도는 어느 정도인가?
• RQ4 다른 메타모델(신경망 대비 LightGBM)은 해 공간에서 다른 수렴 지점으로 이어지며, 이는 최적화의 강건성에 어떤 영향을 미치는가?
• RQ5 주도적 학습 또는 앙상블 방법이 실시간 교통 최적화 과정에서 국부 최적 영역의 고오차가 초래하는 혼란을 효과적으로 줄일 수 있는가?

주요 결과

• 유전 알고리즘으로 발견된 설정에서 메타모델의 평균 오차는 2.16%였으며, 이는 랜덤 테스트 세트의 평균 오차 1.7–2.0%보다 뚜렷이 높았다.
• 16개 모델 중 14개에서 GA에 의해 식별된 설정에서의 최대 오차가 12.9%를 초과했으며, 일부는 최대 21.5%에 이르렀다. 이는 최적화의 핵심 영역에서 성능 저하가 심각하다는 것을 시사한다.
• ReLU 활성화 함수를 사용한 신경망의 경우, 항상 시뮬레이션 결과를 과소평가하는 경향이 있었고, tanh 활성화 함수를 사용한 네트워크는 오차 분포가 더 균형 잡혀 있었다.
• 유전 알고리즘이 여전히 초기 설정보다 나은 해를 찾긴 했지만, 신뢰할 수 없는 적합도 함수 추정으로 인해 최적화 과정이 상당히 어려워졌다.
• 주성분 분석을 통해 서로 다른 메타모델이 해 공간의 서로 다른 영역으로 수렴하는 것으로 나타났으며, 이는 모델에 따라 최적화 경로가 달라질 수 있음을 시사한다.
• 국부 최적점 근처에서 오차가 증가하는 현상은 신경망과 LightGBM 모두에서 일반적이지만, 그 크기와 특성은 활성화 함수와 같은 모델 고유의 초모수에 따라 달라진다.