[논문 리뷰] Evaluating the Determinants of Mode Choice Using Statistical and Machine Learning Techniques in the Indian Megacity of Bengaluru

Tanmay Ghosh, Nithin Nagaraj|arXiv (Cornell University)|2024. 01. 25.

Transportation Planning and Optimization인용 수 4

한 줄 요약

이 연구는 벵갈루루의 모드 선택 행동을 1,350가구 분량의 데이터셋을 바탕으로 통계적 모델과 기계학습 모델을 사용하여 평가한다. 다항 로짓 모델과 랜덤 포레스트, XGBoost, SVM를 비교 분석한 결과, 랜덤 포레스트 모델이 가장 높은 정확도(테스트 데이터 기준 60.5%)를 기록했다. 해석 가능성 기법을 통해 10% 증가한 이동 비용은 버스 이용 확률을 0.34–0.66% 감소시키며, 10% 감소한 이동 시간은 지하철 선호도를 0.16–0.42% 증가시킨다.

ABSTRACT

The decision making involved behind the mode choice is critical for transportation planning. While statistical learning techniques like discrete choice models have been used traditionally, machine learning (ML) models have gained traction recently among the transportation planners due to their higher predictive performance. However, the black box nature of ML models pose significant interpretability challenges, limiting their practical application in decision and policy making. This study utilised a dataset of $1350$ households belonging to low and low-middle income bracket in the city of Bengaluru to investigate mode choice decision making behaviour using Multinomial logit model and ML classifiers like decision trees, random forests, extreme gradient boosting and support vector machines. In terms of accuracy, random forest model performed the best ($0.788$ on training data and $0.605$ on testing data) compared to all the other models. This research has adopted modern interpretability techniques like feature importance and individual conditional expectation plots to explain the decision making behaviour using ML models. A higher travel costs significantly reduce the predicted probability of bus usage compared to other modes (a $0.66\%$ and $0.34\%$ reduction using Random Forests and XGBoost model for $10\%$ increase in travel cost). However, reducing travel time by $10\%$ increases the preference for the metro ($0.16\%$ in Random Forests and 0.42% in XGBoost). This research augments the ongoing research on mode choice analysis using machine learning techniques, which would help in improving the understanding of the performance of these models with real-world data in terms of both accuracy and interpretability.

연구 동기 및 목표

• 벵갈루루의 저소득 및 저중간소득 가구에서의 모드 선택 결정 요인을 분석한다.
• 기존 통계 모델(예: 다항 로짓)과 현대 기계학습 분류기 간의 예측 성능를 비교한다.
• 특성 중요도와 개별 조건부 기대(ICE) 플롯을 활용해 기계학습 모델의 해석 가능성 수준을 평가한다.
• 해석 가능한 기계학습 기법을 사용해 이동 비용과 시간의 변화가 모드 선호도에 미치는 영향을 정량화한다.
• 실세계 도시 데이터에서 높은 정확도와 모델 투명성을 결합함으로써 근거 기반 교통 정책 수립을 지원한다.

제안 방법

• 벵갈루루의 저소득 및 저중간소득 가구에서 1,350가구의 데이터셋을 수집했다.
• 모드 선택 분석의 기준 통계 방법으로 다항 로짓 모델을 적용했다.
• 결정 트리, 랜덤 포레스트, XGBoost, 서포트 벡터 머신을 포함한 네 가지 기계학습 분류기를 훈련하고 비교했다.
• 특성 중요도와 개별 조건부 기대(ICE) 플롯을 사용해 모델 결정의 해석과 변수 영향도를 평가했다.
• 훈련 및 테스트 데이터 분할에 대한 정확도를 사용해 모델 성능을 평가했다.
• 훈련된 기계학습 모델을 활용해 이동 비용과 시간 변화가 모드 선택 확률에 미치는 마진널 효과를 정량화했다.

실험 결과

연구 질문

• RQ1 통계적 모델과 기계학습 모델 중 어느 것이 벵갈루루 도시 환경에서 모드 선택 예측에 가장 우수한 성능을 보이는가?
• RQ2 이동 비용과 시간의 변화가 특정 교통 수단 선택 확률에 미치는 영향은 어떻게 되는가?
• RQ3 특성 중요도와 ICE 플롯과 같은 해석 가능성 기법을 통해 기계학습 모델의 투명도는 얼마나 향상될 수 있는가?
• RQ4 소득 수준 및 이동 시간 변수가 모드 선택 결정에 미치는 상대적 영향은 어떠한가?
• RQ5 정확도와 해석 가능성 측면에서 기계학습 모델의 예측은 전통적인 이산 선택 모델과 어떻게 비교되는가?

주요 결과

• 랜덤 포레스트 모델이 테스트 정확도 60.5%를 기록하며 다항 로짓, 결정 트리, XGBoost, SVM를 모두 앞섰다.
• 이동 비용이 10% 증가하면 랜덤 포레스트 기준 버스 이용 확률이 0.66% 감소하고, XGBoost 기준 0.34% 감소했다.
• 이동 시간이 10% 감소하면 랜덤 포레스트 기준 지하철 선호도가 0.16% 증가하고, XGBoost 기준 0.42% 증가했다.
• 특성 중요도와 ICE 플롯을 통해 이동 비용과 시간이 모든 기계학습 모델에서 가장 영향력 있는 예측 변수로 나타났다.
• 최근 해석 가능성 기법을 활용해 고성능 기계학습 모델(랜덤 포레스트, XGBoost)의 해석 가능성을 확보할 수 있음을 입증했다.
• 해석 가능성 도구의 통합은 정책 입안자들이 기계학습 기반 예측을 이해하고 신뢰할 수 있도록 해, 도시 교통 계획에 활용할 수 있게 한다.