[논문 리뷰] Learning Structure in Nested Logit Models

Youssef M Aboutaleb, Moshe Ben‐Akiva외 1명|arXiv (Cornell University)|2020. 08. 18.

Machine Learning and Algorithms참고 문헌 33인용 수 4

한 줄 요약

이 논문은 혼합정수비선형계획법(MINLP)을 활용하여 트리 구조 탐색과 외부 근사 기법을 적용해 이중 로짓 모델의 최적의 네스팅 구조를 데이터 기반으로 학습하는 최적화 프레임워크를 제안한다. 이 방법은 시뮬레이션 데이터에서 참 구조를 성공적으로 복원하고, 실증 교통 선택 데이터에서 직관 기반 모델보다 더 정확하고 통계적으로 안정적인 모델을 제공한다.

ABSTRACT

This paper introduces a new data-driven methodology for nested logit structure discovery. Nested logit models allow the modeling of positive correlations between the error terms of the utility specifications of the different alternatives in a discrete choice scenario through the specification of a nesting structure. Current nested logit model estimation practices require an a priori specification of a nesting structure by the modeler. In this we work we optimize over all possible specifications of the nested logit model that are consistent with rational utility maximization. We formulate the problem of learning an optimal nesting structure from the data as a mixed integer nonlinear programming (MINLP) optimization problem and solve it using a variant of the linear outer approximation algorithm. We exploit the tree structure of the problem and utilize the latest advances in integer optimization to bring practical tractability to the optimization problem we introduce. We demonstrate the ability of our algorithm to correctly recover the true nesting structure from synthetic data in a Monte Carlo experiment. In an empirical illustration using a stated preference survey on modes of transportation in the U.S. state of Massachusetts, we use our algorithm to obtain an optimal nesting tree representing the correlations between the unobserved effects of the different travel mode choices. We provide our implementation as a customizable and open-source code base written in the Julia programming language.

연구 동기 및 목표

• 이중 로짓 모델에서 최적의 네스팅 구조를 선정하는 체계적인 방법의 부족을 해결하기 위해, 일반적으로 주관적 또는 특수한 영역 지식에 기반한 추론에 의해 선택되는 구조를 개선하고자 한다.
• 이용자 최대화 제약 조건 하에 네스팅 트리 구조와 모델 파라미터를 동시에 최적화하는 데이터 기반 접근법을 개발하고자 한다.
• 모든 가능한 네스팅 구조를 탐색하는 데 있어 계산의 비가역성을 극복하기 위해 트리 구조와 고급 정수 최적화 기법을 활용하고자 한다.
• 연구자와 실무자들이 실제 이산 선택 데이터에 적용할 수 있도록 실용적이고 오픈소스로 구현된 Julia 기반 구현체를 제공하고자 한다.
• 실증 환경에서 데이터 기반으로 학습된 네스팅 구조가 직관 기반 네스팅 구성보다 우수한 성능을 보이는지 확인하고자 한다.

제안 방법

• 모든 유효한 네스팅 트리 구조에 대해 이중 로짓 구조 학습 문제(NLSLP)를 혼합정수비선형계획법(MINLP) 문제로 수식화한다.
• 전역 최적해에 수렴할 수 있도록 선형 외부 근사 알고리즘의 변종을 사용하여 MINLP를 해결한다.
• 네스팅의 계층적 트리 구조를 활용해 문제를 분해하고, 계산 효율성을 높이기 위해 게으른 제약 조건 생성 기법을 적용한다.
• 트리의 조합적 복잡성을 다루기 위해 최신 혼합정수 최적화 솔버를 활용한다.
• 학습 중 과적합을 방지하고 모델 복잡도를 제어하기 위해 매개변수 M과 L을 통한 정규화를 도입한다.
• 시뮬레이션 데이터를 대상으로 몬테카를로 실험을 수행하여 알고리즘을 검증하고, 매사추세츠 주에서 실시한 이동 수단 선택에 대한 의사선택 설문 조사에 적용한다.

실험 결과

연구 질문

• RQ1 데이터 기반 최적화 프레임워크는 시뮬레이션 데이터에서 이중 로짓 모델의 참 네스팅 구조를 신뢰성 있게 복원할 수 있는가?
• RQ2 실제 이산 선택 응용 분야에서 데이터 기반으로 학습된 네스팅 구조는 직관 기반 네스팅 구성보다 성능이 뛰어나게 되는가?
• RQ3 최적의 네스팅 구조는 모델의 체계적 유틸리티 사양에 얼마나 의존하는가?
• RQ4 제안된 MINLP 기반 접근법은 실용적인 문제 크기로 확장 가능하며 계산 가능성을 유지할 수 있는가?
• RQ5 학습된 구조는 '활동적' 또는 '기본적인' 이동 수단과 같은 의미 있는 행동 그룹화를 드러내는가?

주요 결과

• 몬테카를로 실험에서 시뮬레이션 데이터의 100%에서 참 네스팅 구조를 성공적으로 복원하여, 구조 탐색의 높은 정확도를 입증했다.
• 실증 데이터인 매사추세츠 주 이동 수단 선택 데이터셋에서, 학습된 모델은 다항 로짓 모델과 두 가지 직관 기반 이중 로짓 모델(Model A 및 Model B)보다 유의미하게 더 좋은 적합도를 보였다.
• 최적의 네스팅 트리에서는 네스팅을 4개로 구성하고 5단계의 네스팅 수준을 가졌으며, 최종 단순화된 구조에서는 보행과 자전거를 '활동적' 수단으로 묶어 더 넓은 범주인 '기본' 수단 네스팅에 포함시켰다.
• 통계적 검정 결과, n₁ 네스팅의 척도 매개변수(1.215)는 루트 노드(정규화된 1로 설정)와 유의미하게 다를 바가 없어, 이를 루트로 통합할 수 있었고, 이는 모델 단순화에 기여했다.
• 마찬가지로 n₃ 네스팅은 n₂와 통계적으로 다를 바가 없어 n₂에 통합되었으며, 이는 최종 트리 구조를 더욱 단순화시켰다.
• 최종 모델은 승용차 대비 대중교통이나 자전거 이용을 선택할 가능성을 높이는 주요 요인으로 보행 및 자전거 이동 시간에 대한 소비자 민감도가 가장 높으며, 대중교통 패스와 도심 중심지(CBD) 출퇴근이 대중교통이나 자전거 이용 선택을 유도한다는 점을 드러냈다.