[논문 리뷰] Deep Neural Networks for Choice Analysis: A Statistical Learning Theory Perspective

Shenhao Wang, Qingyi Wang외 2명|arXiv (Cornell University)|2018. 10. 24.

Economic and Environmental Valuation참고 문헌 64인용 수 8

한 줄 요약

이 논문은 선택 분석을 위한 딥 뉴럴 네트워크(DNN)에서 과적합과 해석 가능성 문제를 다루기 위해 통계학적 학습 이론 프레임워크를 제안한다. 추정 오차와 근사 오차를 분해하고 진짜 선택 확률 함수와 추정된 선택 확률 함수 간의 차이를 해석 가능성 손실로 정의함으로써, 연구는 DNN이 이진 로짓 모델(BNL)보다 예측 성능과 해석 가능성 면에서 뛰어나며, 특히 표본 크기가 10⁴를 초과할 경우에 더욱 두드러진다는 것을 보여준다. 이는 기존 선택 모델에 대한 이론적으로 탄탄한 해석 가능한 대안을 제공한다.

ABSTRACT

While researchers increasingly use deep neural networks (DNN) to analyze individual choices, overfitting and interpretability issues remain as obstacles in theory and practice. By using statistical learning theory, this study presents a framework to examine the tradeoff between estimation and approximation errors, and between prediction and interpretation losses. It operationalizes the DNN interpretability in the choice analysis by formulating the metrics of interpretation loss as the difference between true and estimated choice probability functions. This study also uses the statistical learning theory to upper bound the estimation error of both prediction and interpretation losses in DNN, shedding light on why DNN does not have the overfitting issue. Three scenarios are then simulated to compare DNN to binary logit model (BNL). We found that DNN outperforms BNL in terms of both prediction and interpretation for most of the scenarios, and larger sample size unleashes the predictive power of DNN but not BNL. DNN is also used to analyze the choice of trip purposes and travel modes based on the National Household Travel Survey 2017 (NHTS2017) dataset. These experiments indicate that DNN can be used for choice analysis beyond the current practice of demand forecasting because it has the inherent utility interpretation, the flexibility of accommodating various information formats, and the power of automatically learning utility specification. DNN is both more predictive and interpretable than BNL unless the modelers have complete knowledge about the choice task, and the sample size is small. Overall, statistical learning theory can be a foundation for future studies in the non-asymptotic data regime or using high-dimensional statistical models in choice analysis, and the experiments show the feasibility and effectiveness of DNN for its wide applications to policy and behavioral analysis.

연구 동기 및 목표

• 작은 표본, 비점근적 설정에서 DNN의 과적합 문제를 다루는 것, 특히 점근적이지 않은 설정에서의 과적합 문제를 해결하는 것.
• 함수 추정과 선택 확률 손실을 통한 DNN 기반 선택 모델에서의 해석 가능성 정의 및 구현.
• 모의 및 실제 세계 시나리오에서 DNN의 예측 성능와 해석 가능성 면에서 이진 로짓 모델(BNL)과의 비교.
• 고차원적, 비점근적 선택 모델링을 위한 통계학적 학습 이론을 기반으로 이론적 기반을 마련하는 것.
• DNN이 전통적인 모델과 동등하거나 이를 초월하는 행동적 및 정책적 해석 가능성을 달성할 수 있음을 입증하는 것.

제안 방법

• VC 차원에 의존하지 않고 라데마처 복잡도를 통해 DNN의 추정 오차를 상한으로 제시하기 위해 통계학적 학습 이론을 사용한다.
• 오차를 추정 오차와 근사 오차로 분해하여, 매개변수 수가 아니라 매개변수 노름이 추정 오차를 제한한다는 것을 보여준다.
• 진짜 선택 확률 함수와 추정된 선택 확률 함수 간의 L2 차이로 해석 가능성 손실을 정의한다.
• 세 가지 시나리오에 걸쳐 몬테카를로 시뮬레이션을 수행하여 DNN과 BNL의 예측 성능와 해석 가능성 성능을 비교한다.
• 국립 가정 이동 조사 2017(NHTS2017)에 DNN를 적용하여 이동 목적과 이동 수단 선택을 분석함으로써 실제 적용 가능성 검증.
• 해석을 매개변수 추정이 아닌 예측 기반 함수 추정으로 프레임워크화함으로써 자동으로 유틸리티 구조를 특정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 작은 표본, 비점근적 설정에서도 과적합 없이 딥 뉴럴 네트워크를 선택 모델링에 신뢰성 있게 사용할 수 있는가?
• RQ2 DNN 기반 선택 모델에서 해석 가능성은 어떻게 공식적으로 정의하고 측정할 수 있으며, 특히 전통적인 선택 모델과 비교할 때 어떻게 다를 수 있는가?
• RQ3 다양한 데이터 환경에서 DNN이 예측 정확도와 해석 가능성 면에서 이진 로짓 모델(BNL)을 어느 정도 초월하는가?
• RQ4 표본 크기가 선택 분석에서 DNN의 예측 능력과 전통적 모델 간의 성능 격차를 어떻게 좌우하는가?
• RQ5 DNN은 수작업으로 설계된 것과 동등하거나 이를 초월하는 행동적 관련성을 지닌 유틸리티 구조를 자동으로 학습할 수 있는가?

주요 결과

• 모의 시나리오 대부분에서 DNN이 이진 로짓 모델(BNL)보다 예측 성능과 해석 가능성 면에서 뛰어나며, 표본 크기가 10⁴를 초과할 경우 더욱 두드러진다.
• DNN의 예측 우월성은 더 큰 표본 크기에서만 뚜렷해지며, BNL의 성능는 표본 크기에 관계없이 포화 상태에 도달한다.
• 라데마처 복잡도를 활용하여 해석 가능성 손실을 효과적으로 상한으로 제한함으로써, 매개변수 노름을 제어할 경우 비점근적 설정에서도 DNN이 과적합되지 않음을 입증한다.
• 개별 매개변수 추정에 의존하는 것보다 전체 선택 확률 함수를 추정함으로써 DNN은 BNL과 동등하거나 더 뛰어난 해석 가능성을 달성한다.
• NHTS2017 적용 사례에서 DNN는 예측 성능가장 높고, 해석 가능한 유틸리티 구조를 갖춘 이동 목적과 이동 수단 선택을 성공적으로 모델링하였다.
• 본 연구는 DNN가 복잡한 유틸리티 구조를 자동으로 학습함으로써 도메인 지식 기반 특징 공학의 의존도를 감소시킬 수 있음을 보여준다.