[논문 리뷰] Deep Neural Networks for Choice Analysis: Extracting Complete Economic Information for Interpretation

Shenhao Wang, Qingyi Wang외 1명|arXiv (Cornell University)|2018. 12. 11.

Economic and Environmental Valuation참고 문헌 119인용 수 5

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNNs)가 기존 이산 선택 모델(DCMs)과 동등한 수준의 완전한 경제 정보—예를 들어 선택 확률, 가격 탄력성, 시간의 가치 등—을 추출할 수 있음을 입증한다. 입력 그래디언트와 앙상블 방법을 활용함으로써 DNNs는 민감도, 비정규화, 局부 불규칙성 문제를 완화하기 위해 대규모 표본 크기, 하이퍼파ram터 튜닝, 정규화 기법이 필요로 하는 민감도에 따라 유연한 행동 패턴을 드러내지만, 이는 신뢰성에 영향을 미친다.

ABSTRACT

While deep neural networks (DNNs) have been increasingly applied to choice analysis showing high predictive power, it is unclear to what extent researchers can interpret economic information from DNNs. This paper demonstrates that DNNs can provide economic information as complete as classical discrete choice models (DCMs). The economic information includes choice predictions, choice probabilities, market shares, substitution patterns of alternatives, social welfare, probability derivatives, elasticities, marginal rates of substitution (MRS), and heterogeneous values of time (VOT). Unlike DCMs, DNNs can automatically learn the utility function and reveal behavioral patterns that are not prespecified by domain experts. However, the economic information obtained from DNNs can be unreliable because of the three challenges associated with the automatic learning capacity: high sensitivity to hyperparameters, model non-identification, and local irregularity. To demonstrate the strength and challenges of DNNs, we estimated the DNNs using a stated preference survey, extracted the full list of economic information from the DNNs, and compared them with those from the DCMs. We found that the economic information either aggregated over trainings or population is more reliable than the disaggregate information of the individual observations or trainings, and that even simple hyperparameter searching can significantly improve the reliability of the economic information extracted from the DNNs. Future studies should investigate other regularizations and DNN architectures, better optimization algorithms, and robust DNN training methods to address DNNs' three challenges, to provide more reliable economic information from DNN-based choice models.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 기존 이산 선택 모델과 동일한 포괄적인 경제 정보 세트를 추출할 수 있음을 입증하는 것.
• DNN 해석에 있어 세 가지 핵심 과제—하이퍼파ram터 민감도, 모델 비정규화, 국소 불규칙성—를 식별하고 분석하는 것.
• 다양한 표본 크기와 모델 구성에서 DNN 기반 경제 지표의 신뢰성을 평가하는 것.
• DNN 기반 선택 모델링에서 해석 가능성과 신뢰성을 향상시키기 위한 실용적 권고 사항을 제공하는 것.

제안 방법

• 선택 확률 함수의 입력 그래디언트를 사용하여 DNN에서 경제 정보를 추출함으로써 도함수, 탄력성, 한계 대체율 계산이 가능하도록 하는 것.
• 개별 모델 출력의 분산을 줄이기 위해 모델 앙상블과 반복 학습을 적용하는 것.
• 모델 안정성과 일반화 능력을 향상시키기 위해 하이퍼파aram터 검색 및 정규화 기법(예: 드롭아웃, 조기 정지)을 사용하는 것.
• 싱가포르의 의사 선택 설문 조사와 런던의 실제 선택 데이터셋 두 개에서 DNN 출력을 기존 MNL 모델과 비교하는 것.
• 개별 및 모델 간 정보 통합을 통해 이질적 수준의 경제 지표의 신뢰도를 향상시키는 것.
• 기존 DCM 기준과의 비교를 통해 결과를 검증하고, 드러난 패턴의 행동적 타당성을 평가하는 것.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 선택 확률, 탄력성, 시간의 가치 등 경제 정보의 전반적인 범위를 기존 이산 선택 모델과 동등하게 추출할 수 있는가?
• RQ2 하이퍼파aram터 민감도, 모델 비정규화, 국소 불규칙성은 DNN에서 추출된 경제 정보의 신뢰성에 어떤 영향을 미치는가?
• RQ3 대규모 표본 크기, 하이퍼파aram터 튜닝, 모델 앙상블, 정규화 기법이 DNN 기반 경제 지표의 신뢰도를 얼마나 향상시키는가?
• RQ4 작은 표본에서 드러나는 DNN의 행동 패턴—예를 들어 양의 가격 탄력성—은 경제적으로 타당한가, 아니면 모델 복잡성과 작은 표본의 산물인가?

주요 결과

• DNNs는 선택 확률, 탄력성, 한계 대체율, 이질적 시간 가치 등 기존 DCMs와 동등한 완전한 경제 정보를 추출할 수 있다.
• 다중 학습 또는 인구 집단에 걸쳐 요약된 경제 정보는 개별 모델이나 관측치의 이질적 수준 결과보다 더 높은 신뢰도를 가진다.
• 작은 표본 크기에서는 하이퍼파aram터 민감도, 비정규화, 국소 불규칙성의 세 핵심 과제가 악화되어 신뢰성 없거나 비합리적인 행동 패턴을 초래한다.
• 대규모 표본 크기, 하이퍼파aram터 검색, 모델 앙상블, 효과적인 정규화는 DNN 기반 경제 지표의 신뢰도를 크게 향상시킨다.
• 작은 표본에서 DNNs는 비단조화롭고 직관에 어긋나는 패턴—예를 들어 양의 가격 탄력성—을 드러내며, 이는 진정한 행동 선호도가 아니라 모델의 산물일 가능성이 있다.
• 이 연구는 향후 연구에 있어 최적의 표본 크기, 고급 정규화, 강건한 학습 방법, 향상된 최적화 알고리즘을 통해 DNN의 해석 가능성 과제를 해결하기 위한 필수적인 필요성을 규명한다.