[논문 리뷰] ResLogit: A residual neural network logit model

Melvin Wong, Bilal Farooq|arXiv (Cornell University)|2019. 12. 20.

Economic and Environmental Valuation참고 문헌 1인용 수 5

한 줄 요약

ResLogit는 깊이 있는 신경망 기반 로짓 모델로, 딥러닝과 무작위 효용 최대화를 통합하여 복잡한 오차 구조를 가진 해석 가능한 이산 선택 모델링을 가능하게 한다. 유용성 오차의 잔차 공분산을 모델링함으로써 표준 로짓 모델을 초월한 복잡한 대체 패턴과 관측되지 않은 이질성을 포착하면서도, GEV 프레임워크를 통해 해석 가능성은 유지한다.

ABSTRACT

We present a Residual Logit (ResLogit) model for seamlessly integrating a data-driven Deep Neural Network (DNN) architecture in the random utility maximization paradigm. DNN models such as the Multi-layer Perceptron (MLP) have shown remarkable success in modelling complex data accurately, but recent studies have consistently demonstrated that their black-box properties are incompatible with discrete choice analysis for the purpose of interpreting decision making behaviour. Our proposed machine learning choice model is a departure from the conventional feed-forward MLP framework by using a dynamic residual neural network learning based approach. Our proposed method can be formulated as a Generalized Extreme Value (GEV) random utility maximization model for greater flexibility in capturing unobserved heterogeneity. It can generate choice model structures where the covariance between random utilities is estimated and incorporated into the random error terms, allowing for a richer set of higher-order substitution patterns than a standard logit might be able to achieve. We describe the process of our model estimation and examine the relative empirical performance and econometric implications on two mode choice experiments. We analyzed the behavioural and theoretical properties of our methodology. We showed how model interpretability is possible, while also capturing the underlying complex and unobserved behavioural heterogeneity effects in the residual covariance matrices.

연구 동기 및 목표

• 이산 선택 분석에서 블랙박스 딥 뉴럴 네트워크의 해석 가능성 한계를 해결하기 위해.
• 딥러닝 아키텍처를 통합하면서도 이론적 기반을 유지하는 방식으로 랜덤 유용성 최대화 프레임워크를 확장하기 위해.
• 오차 항에 대한 구조화된 잔차 공분산 행렬을 통해 관측되지 않은 이질성을 모델링하기 위해.
• 표준 로짓 모델이 허용하는 것보다 더 rich한 대체 패턴을 선택 모델링에 통합하기 위해.
• GEV 기반의 제약을 통해 복잡한 관측되지 않은 행동 이질성을 포착하면서도 모델의 해석 가능성 유지하기 위해.

제안 방법

• 모델은 일반화된 극값 분포(GEV) 기반의 랜덤 유용성 최대화 모델로 제작되어, 임의의 유용성에서의 복잡한 오차 구조와 상관관계를 허용한다.
• 표준 피드포워드 MLP 아키텍처 대신 복잡한 유용성 함수를 학습하기 위해 잔차 신경망(ResNet) 아키텍처를 사용한다.
• 네트워크 내 잔차 연결 덕분에 더 깊은 아키텍처를 구현하고 선택 데이터의 복잡한 비선형 관계를 더 잘 학습할 수 있다.
• 모델은 잔차 오차의 공분산 행렬을 추정함으로써, 대안 간의 고차원 대체 패턴을 가능하게 한다.
• 딥러닝 최적화와 계량경제학 원리를 통합한 추정 과정을 통해 이론적 일관성을 확보한다.
• 모델 구조는 학습된 잔차 공분산과 유용성 파라미터를 통해 선택 행동을 해석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 랜덤 유용성 최대화 프레임워크 내에 통합되면서도 해석 가능성은 유지될 수 있는가?
• RQ2 ResLogit 모델은 표준 로짓 모델과 MLP 모델에 비해 선택 행동의 관측되지 않은 이질성을 얼마나 더 잘 포착하는가?
• RQ3 오차 항의 잔차 공분산 행렬이 독립성 원리의 불가능성(IIA) 가정을 초월해 복잡한 대체 패턴을 얼마나 잘 모델링할 수 있는가?
• RQ4 실제 이산 선택 설정에서 ResLogit 모델의 실증적 성능와 계량경제학적 함의는 어떠한가?
• RQ5 ResNet 아키텍처의 통합이 선택 모델링에서 모델의 유연성과 해석 가능성에 어떻게 기여하는가?

주요 결과

• ResLogit 모델은 GEV 기반 오차 구조를 활용하여 딥 뉴럴 네트워크를 랜덤 유용성 최대화 프레임워크에 성공적으로 통합하였다.
• 추정된 잔차 공분산 행렬을 통해 표준 로짓 모델의 IIA 가정을 초월한 고차원 대체 패턴을 포착하였다.
• 두 가지 모드 선택 실험에 대한 실증 결과는 행동 이질성을 포착하는 데 있어 표준 로짓 모델과 MLP 모델보다 성능이 향상되었음을 보여주었다.
• 잔차 네트워크를 의미 있는 유용성 구성요소와 오차 상관관계를 반영하도록 설계함으로써 모델의 해석 가능성 유지되었다.
• 추정 과정은 유용성 파라미터와 잔차 공분산에 대한 신뢰할 수 있는 추론을 가능하게 하여 이론적 및 행동 분석을 지원하였다.
• 이 방법은 잘 정립된 계량경제학적 프레임워크 내에 딥러닝을 통합함으로써 선택 모델링에서 딥러닝의 해석 가능성을 입증하였다.