[논문 리뷰] Modeling Stated Preference for Mobility-on-Demand Transit: A Comparison of Machine Learning and Logit Models

Xilei Zhao, Xiang Yan외 2명|arXiv (Cornell University)|2018. 11. 04.

Economic and Environmental Valuation참고 문헌 40인용 수 18

한 줄 요약

이 연구는 이동 수요 서비스에서 기대 선택(Stated Preference, SP)을 예측하기 위해 기계학습(Machine Learning, ML) 모델과 전통적인 로짓 모델—특히 다항로짓(MNL)과 믹스드로짓—을 비교한다. SP 설문 조사 데이터를 사용하여, 무작위 포레스트(RF) 및 기타 ML 모델이 외부 샘플 예측 정확도에서 로짓 모델을 뚜렷이 뛰어넘는 것으로 나타났으며, 행동 해석 측면에서도 상당한 일치를 보였고, ML 모델은 비선형 관계도 자동으로 포착하는 것으로 나타났다.

ABSTRACT

Logit models are usually applied when studying individual travel behavior, i.e., to predict travel mode choice and to gain behavioral insights on traveler preferences. Recently, some studies have applied machine learning to model travel mode choice and reported higher out-of-sample predictive accuracy than traditional logit models (e.g., multinomial logit). However, little research focuses on comparing the interpretability of machine learning with logit models. In other words, how to draw behavioral insights from the high-performance "black-box" machine-learning models remains largely unsolved in the field of travel behavior modeling. This paper aims at providing a comprehensive comparison between the two approaches by examining the key similarities and differences in model development, evaluation, and behavioral interpretation between logit and machine-learning models for travel mode choice modeling. To complement the theoretical discussions, the paper also empirically evaluates the two approaches on the stated-preference survey data for a new type of transit system integrating high-frequency fixed-route services and ridesourcing. The results show that machine learning can produce significantly higher predictive accuracy than logit models. Moreover, machine learning and logit models largely agree on many aspects of behavioral interpretations. In addition, machine learning can automatically capture the nonlinear relationship between the input features and choice outcomes. The paper concludes that there is great potential in merging ideas from machine learning and conventional statistical methods to develop refined models for travel behavior research and suggests some new research directions.

연구 동기 및 목표

• 기계학습과 로짓 모델 간의 해석 가능성과 예측 성능를 비교하는 데 있어 아직 남아 있는 격차를 해소하기 위해.
• 높은 성능을 보이는 '블랙박스' 기계학습 모델이 전통적인 로짓 모델과 유사한 신뢰할 수 있는 행동 통찰을 제공할 수 있는지 평가하기 위해.
• 기대 선택 데이터의 맥락에서 데이터 요구사항, 모델링 접근법, 출력 해석 측면에서 ML과 로짓 모델 간의 근본적인 차이를 분석하기 위해.
• 기계학습의 예측 능력과 로짓 모델의 해석 가능성의 조합을 통해 더 나은 이동 행동 모델링을 위한 잠재력을 탐색하기 위해.
• 새로운 이동 수요 서비스 기반의 이동 수요 서비스 SP 설문 조사 데이터셋에서 다양한 ML 알고리즘과 로짓 모델의 성능을 평가하기 위해.

제안 방법

• 교차검증을 통해 기계학습 분류기 7종(무작위 포레스트, 신경망, 기울기 부스팅 포함)과 로짓 모델 2종(MNL 및 믹스드로짓)을 실증적으로 비교한다.
• 기계학습 모델의 해석 가능성 기법을 적용: 변수 중요도, 부분 의존도 플롯, 민감도 분석을 통해 행동 통찰을 도출한다.
• 고정 노선과 수요 기반 서비스를 통합한 제안된 이동 수요 서비스 기반의 기대 선택 설문 조사 데이터를 사용한다.
• k-폴드 교차검증을 통해 외부 샘플 예측 정확도를 기반으로 모델 성능을 평가한다.
• 로짓 모델에서 마진성 효과와 호칭 탄력도를 계산하여 ML 기반 행동 해석과 비교한다.
• 정확도 및 ROC 곡선 아래 면적 등 표준 지표를 사용하여 모델 적합도와 예측 능력을 평가한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 기존의 로짓 모델에 비해 이동 수요 서비스의 기대 선택을 예측하는 데 어떻게 비교되는가?
• RQ2 기계학습 모델과 로짓 모델은 기대 선택에 영향을 주는 주요 요소(예: 대기 시간, 환승, 릭셰어 시간)의 중요도와 영향 방향에 대해 어느 정도 일치하는가?
• RQ3 기계학습 모델은 이동 요금과 선택 결정 간의 비선형 관계를 자동으로 탐지하고 표현할 수 있는가?
• RQ4 기계학습 모델과 로짓 모델 간의 행동 해석(예: 마진성 효과, 호칭 탄력도)에서 주요 차이는 무엇인가?
• RQ5 기계학습 모델은 더 정확하고 행동 기반의 로짓 모델을 설계하는 데 있어 탐색적 도구로 활용될 수 있는가?

주요 결과

• 무작위 포레스트(RF) 모델이 가장 높은 외부 샘플 예측 정확도를 기록했으며, MNL 및 믹스드로짓 모델을 뚜렷이 뛰어넘었다.
• RF 및 신경망을 포함한 대부분의 기계학습 모델이 개별 및 집합적 예측 수준에서 로짓 모델에 비해 뛰어난 예측 성능를 보였다.
• 믹스드로짓 모델이 MNL 모델보다 예측 정확도에서 열등했으며, 과적합 가능성으로 인해 이와 같은 결과가 발생했을 수 있어, 더 복잡한 로짓 모델이 항상 더 나은 결과를 낼 것이라는 가정을 도전할 수 있었다.
• 기계학습 모델과 로짓 모델은 대기 시간, 환승, 릭셰어 시간과 같은 핵심 속성의 중요도와 영향 방향에 대해 강한 일치를 보였다.
• 부분 의존도 플롯을 통해 무작위 포레스트 모델이 이동 시간과 대기 시간이 선택에 미치는 비선형 효과를 자동으로 포착한 것으로 나타났으며, 이는 ML이 복잡한 행동 패턴을 드러내는 데 유용함을 시사한다.
• ML 모델에서 유도된 마진성 효과 및 호칭 탄력도 추정치는 로짓 모델과 일치하는 추세를 보였지만, 정량적 차이를 보였으며, 이는 ML 출력이 보완적인 행동 통찰을 제공할 수 있음을 시사한다.