[논문 리뷰] Theory-based residual neural networks: A synergy of discrete choice models and deep neural networks

Shenhao Wang, Baichuan Mo외 1명|arXiv (Cornell University)|2020. 10. 22.

Transportation Planning and Optimization참고 문헌 80인용 수 6

한 줄 요약

이 논문은 이산 선택 모델(DCMs)과 딥 뉴럴 네트워크(DNNs)를 (δ, 1−δ) 가중치 부여 방식으로 유틸리티 함수를 조합함으로써 상호보완적인 이론 기반 잔차 신경망(TB-ResNets)이라는 새로운 프레임워크를 제안한다. 이 방법은 DCM이 유틸리티 함수를 안정화시키고 DNN이 복잡한 행동 패턴을 포착하도록 하여 예측 정확도, 해석 가능성, 강건성을 향상시키며 순수한 DCM과 DNN보다 뛰어난 성능을 발휘한다.

ABSTRACT

Researchers often treat data-driven and theory-driven models as two disparate or even conflicting methods in travel behavior analysis. However, the two methods are highly complementary because data-driven methods are more predictive but less interpretable and robust, while theory-driven methods are more interpretable and robust but less predictive. Using their complementary nature, this study designs a theory-based residual neural network (TB-ResNet) framework, which synergizes discrete choice models (DCMs) and deep neural networks (DNNs) based on their shared utility interpretation. The TB-ResNet framework is simple, as it uses a ($δ$, 1-$δ$) weighting to take advantage of DCMs' simplicity and DNNs' richness, and to prevent underfitting from the DCMs and overfitting from the DNNs. This framework is also flexible: three instances of TB-ResNets are designed based on multinomial logit model (MNL-ResNets), prospect theory (PT-ResNets), and hyperbolic discounting (HD-ResNets), which are tested on three data sets. Compared to pure DCMs, the TB-ResNets provide greater prediction accuracy and reveal a richer set of behavioral mechanisms owing to the utility function augmented by the DNN component in the TB-ResNets. Compared to pure DNNs, the TB-ResNets can modestly improve prediction and significantly improve interpretation and robustness, because the DCM component in the TB-ResNets stabilizes the utility functions and input gradients. Overall, this study demonstrates that it is both feasible and desirable to synergize DCMs and DNNs by combining their utility specifications under a TB-ResNet framework. Although some limitations remain, this TB-ResNet framework is an important first step to create mutual benefits between DCMs and DNNs for travel behavior modeling, with joint improvement in prediction, interpretation, and robustness.

연구 동기 및 목표

• 이동 행동 연구에서 데이터 기반 기계학습과 이론 기반 이산 선택 모델 간의 갈등을 해결한다.
• 순수한 DNN(낮은 해석 가능성, 열악한 강건성)과 순수한 DCM(낮은 예측 능력)의 한계를 극복하기 위해 양쪽 접근 방식을 융합한다.
• 도메인 특화 행동 이론과 데이터 기반 학습을 통합하여 유연하고 일반화 가능한 프레임워크를 개발한다.
• 이론 기반 잔차 학습을 통해 DCM과 DNN을 조합하면 예측, 해석 가능성, 강건성에서 공동 개선이 이뤄진다는 것을 입증한다.

제안 방법

• 이론 기반 DCM과 데이터 기반 DNN을 (δ, 1−δ) 가중치 부여 방식으로 유틸리티 함수를 조합함으로써 잔차 학습 구조를 모방하는 TB-ResNet 프레임워크를 제안한다.
• DNN에서 소프트맥스 활성화를 사용하여 랜덤 유틸리티 최대화(RUM) 프레임워크와의 확률적 호환성을 확보함으로써 유틸리티 수준의 직접적 상호보완성을 가능하게 한다.
• TB-ResNet을 정규화 메커니즘으로 공식화한다: DCM은 DNN의 과적합을 억제하고, DNN은 DCM에 민첩하고 데이터 기반의 유틸리티 성분을 강화한다.
• 세 가지 TB-ResNet 인스턴스를 설계한다: 다항 로짓 기반의 MNL-ResNet, 위험 선호도를 위한 프로스펙트 이론 기반의 PT-ResNet, 시간 선호도를 위한 하이퍼볼릭 할인 기반의 HD-ResNet.
• 통계적 학습 이론을 적용하여 정규화 효과를 정당화하며, DNN은 과적합에 취약하고 DCM은 과소적합에 취약함을 보여준다.
• 싱가포르 및 타나카(2010)의 두 데이터셋을 포함한 세 개의 데이터셋에 대해 실증 테스트를 수행하여 예측, 해석 가능성, 강건성 지표에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이산 선택 모델과 딥 뉴럴 네트워크는 공통된 유틸리티 해석을 통해 의미 있는 방식으로 융합될 수 있는가?
• RQ2 이론 기반 잔차 유틸리티 프레임워크를 통해 DCM과 DNN을 조합하면 각각의 방법보다 더 높은 예측 정확도를 달성할 수 있는가?
• RQ3 이론 기반 성분의 통합이 데이터 기반 모델의 해석 가능성과 강건성에 얼마나 기여하는가?
• RQ4 TB-ResNet 프레임워크는 선택 모델링에서 다양한 행동 이론(예: 프로스펙트 이론, 하이퍼볼릭 할인)에 대해 얼마나 민첩하게 적용될 수 있는가?
• RQ5 (δ, 1−δ) 가중치 부여 방식이 모델의 단순성과 예측의 풍부함 사이의 트레이드오프를 어떻게 균형 잡는가?

주요 결과

• TB-ResNets는 DNN 기반 성분을 유틸리티 함수에 통합함으로써 순수한 DCM보다 예측 정확도를 크게 향상시킨다.
• 순수한 DNN과 비교해 볼 때 TB-ResNets는 예측 성능을 다소 향상시키지만, DCM 성분의 안정화 효과로 인해 해석 가능성과 강건성이 크게 향상된다.
• MNL-ResNet, PT-ResNet, HD-ResNet 모두 예측, 해석 가능성, 강건성 세 가지 평가 기준에서 모두 향상된 성능을 보였다.
• 세 데이터셋에 대한 실증 결과는 TB-ResNets가 순수한 DNN와 DCM을 능가하거나 그 성능을 유지하며, 특히 모델 안정성과 행동적 통찰력에서 두드러진 성과를 보였음을 보여준다.
• 이 프레임워크는 다양한 행동 이론을 통합된 딥 러닝 아키텍처에 성공적으로 통합하여 DCM만으로는 드러내기 어려운 더 풍부한 행동 메커니즘을 드러냈다.
• DCM 성분의 정규화 효과는 DNN의 과적합을 감소시키며, DNN 성분은 DCM의 과소적합을 완화함으로써 상호보완성 가설을 검증한다.