[논문 리뷰] Machine Learning Meets Microeconomics: The Case of Decision Trees and Discrete Choice

Timothy Brathwaite, Akshay Vij외 1명|arXiv (Cornell University)|2017. 11. 13.

Economic and Environmental ValuationEconomics, Econometrics and Finance인용 수 20

한 줄 요약

이 논문은 의사결정 트리와 이산 선택 이론을 통합한 베이지안 모델 트리를 소개한다. 의사결정 트리를 비보상적 '논리합의 논리곱' 규칙로 해석하고, 이들을 이중 단계의 반보상 모델에 통합한다. 자전거 이용 방식 선택 연구에서 이 논문은 진정한 데이터 생성 과정을 근사하는 데 있어 다항 로짓 모델(MNL)보다 1,000배 이상 뛰어난 성능을 보이며, 자전거 인프라에 대한 감소 수익 법칙과 맥락에 따라 달라지는 행동 이질성을 포착한다.

ABSTRACT

We provide a microeconomic framework for decision trees: a popular machine learning method. Specifically, we show how decision trees represent a non-compensatory decision protocol known as disjunctions-of-conjunctions and how this protocol generalizes many of the non-compensatory rules used in the discrete choice literature so far. Additionally, we show how existing decision tree variants address many economic concerns that choice modelers might have. Beyond theoretical interpretations, we contribute to the existing literature of two-stage, semi-compensatory modeling and to the existing decision tree literature. In particular, we formulate the first bayesian model tree, thereby allowing for uncertainty in the estimated non-compensatory rules as well as for context-dependent preference heterogeneity in one's second-stage choice model. Using an application of bicycle mode choice in the San Francisco Bay Area, we estimate our bayesian model tree, and we find that it is over 1,000 times more likely to be closer to the true data-generating process than a multinomial logit model (MNL). Qualitatively, our bayesian model tree automatically finds the effect of bicycle infrastructure investment to be moderated by travel distance, socio-demographics and topography, and our model identifies diminishing returns from bike lane investments. These qualitative differences lead to bayesian model tree forecasts that directly align with the observed bicycle mode shares in regions with abundant bicycle infrastructure such as Davis, CA and the Netherlands. In comparison, MNL's forecasts are overly optimistic.

연구 동기 및 목표

• 기계학습과 미시경제학 사이의 격차를 메우기 위해 의사결정 트리의 경제학적 해석을 제공하는 것.
• 이론적 기반 부족으로 인해 이산 선택 모델러들이 기계학습 방법을 수용하지 않는 데 대한 문제를 해결하는 것.
• 비보상적 규칙과 보상적 선택 모델을 조합한 반보상적, 이중 단계 모델을 개발하는 것.
• 베이지안 프레임워크를 사용하여 비보상적 규칙과 선호 이질성의 불확실성을 정량화하는 것.
• 샌프란시스코 만 지역의 자전거 이용 방식 선택 데이터를 활용하여 모델을 실증적으로 검증하는 것.

제안 방법

• 의사결정 트리를 비보상적 결합 원칙으로 간주하는 비보상적 의사결정 프로토콜인 '논리합의 논리곱'으로 모델링하며, 예를 들어 '만일 자전거 전용도로 비율이 30퍼센트 이상이거나 이동 거리가 2km 이하이면 자전거 이용을 고려한다'와 같은 규칙을 표현한다.
• 이중 단계 의사결정 과정을 제안한다: 첫 번째 단계에서 의사결정 트리가 비보상적 규칙에 기반해 선택지 집합을 정의하고, 두 번째 단계에서 보상적 이산 선택 모델(MNL 등)이 그 집합 내에서 선택지를 선정한다.
• 비보상적 규칙과 선택 모델의 파라미터에 대한 불확실성 정량화를 가능하게 하는 최초의 베이지안 모델 트리를 개발한다.
• 마르코프 체인 몬테카를로(MCMC) 방법을 사용하여 의사결정 트리 구조와 선택 모델 파라미터에 대한 사후분포를 추정한다.
• 개인 수준의 공변량에 따라 트리 분할과 선택 모델 파라미터가 달라지도록 하여 맥락 기반 선호 이질성을 통합한다.
• 비보상적 규칙에 대한 불확실성과 모델 복잡도를 정규화하기 위해 계층적 우선분포 구조를 활용한다.

실험 결과

연구 질문

• RQ1 의사결정 트리는 마이크로이코노미크스 의사결정 이론의 시각에서 어떻게 해석될 수 있는가?
• RQ2 의사결정 트리와 이산 선택 모델을 조합한 이중 단계 반보상 모델이 예측 정확도와 정책 관련성을 향상시킬 수 있는가?
• RQ3 비보상적 규칙의 불확실성은 예측 신뢰성과 모델의 강건성에 어떤 영향을 미치는가?
• RQ4 기존의 보상적 모델(MNL 등)이 놓치는 행동적 통찰은 무엇인가?
• RQ5 베이지안 모델 트리는 실제 도시 이동 수단 선택 행동을 포착하는 데 다항로짓 모델(MNL)보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 베이지안 모델 트리는 다항로짓 모델(MNL)보다 진정한 데이터 생성 과정에 더 가까운 확률이 약 1,100배 높으며, 베이즈 요인 99.01 / 0.09 ≈ 1,100에 기반한다.
• 모델은 대사, 네델란드와 같이 인프라가 높은 지역에서 자전거 이용 비율을 정확하게 예측하지만, MNL 모델은 과도하게 낙관적인 예측을 한다.
• 모델은 도로 내 자전거 전용도로 투자에 감소 수익 법칙이 존재함을 드러내며, 이는 MNL 모델에서 존재하지 않는 핵심 통찰이다.
• 모델은 이동 거리, 자녀 관련 압박, 지형 등이 자전거 인프라의 효과를 저해하여, 높은 도로 비율이 있더라도 사람들이 자전거를 이용하지 못하게 함을 규명한다.
• 베이지안 모델 트리는 맥락 기반 선호 이질성을 포착하며, 비보상적 규칙이 사회적 인구통계학적 요소와 환경 조건에 따라 달라짐을 보여준다.
• 모델의 비보상적 구조는 자전거 도로 비율이 다른 변수를 상쇄하지 못하도록 하며, β_bike-lanes = 0으로 고정함으로써 안정적인 예측 불확실성 보장을 한다.