[논문 리뷰] Indirect inference through prediction

Ernesto Carrella, Richard M. Bailey외 1명|arXiv (Cornell University)|2018. 07. 04.

Markov Chains and Monte Carlo Methods참고 문헌 6인용 수 4

한 줄 요약

이 논문은 수치 최소화를 정규화된 회귀로 대체하여 시뮬레이션 기반 모델의 모수를 추정하는 새로운 간접 추정 방법을 제안한다. 시뮬레이션 데이터를 기반으로 요약 통계량에서 모수를 예측하는 회귀 모델을 훈련시킴으로써, 이 방법은 관련 통계량을 자동으로 선택하고 가중치를 부여하여 수동으로 요약 통계량을 선택하거나, 거리 함수를 정의하거나, 계산 비용이 큰 최소화를 수행할 필요 없이, 분류를 통해 효율적인 校정과 모델 선택을 가능하게 한다.

ABSTRACT

By recasting indirect inference estimation as a prediction rather than a minimization and by using regularized regressions, we can bypass the three major problems of estimation: selecting the summary statistics, defining the distance function and minimizing it numerically. By substituting regression with classification we can extend this approach to model selection as well. We present three examples: a statistical fit, the parametrization of a simple real business cycle model and heuristics selection in a fishery agent-based model. The outcome is a method that automatically chooses summary statistics, weighs them and use them to parametrize models without running any direct minimization.

연구 동기 및 목표

• 간접 추정의 세 가지 주요 과제인 요약 통계량 선택, 거리 함수 정의, 수치 최소화 문제를 해결하기 위해.
• 특히 정확한 우도가 없는 에이전트 기반 모델과 거시경제 모델과 같은 복잡한 시뮬레이션 모델의 校정을 단순화하고 자동화하기 위해.
• 모수 추정에서의 회귀를 분류로 대체함으로써 이론적 모델 선택으로 방법을 확장하기 위해.
• 정규화를 활용해 유의미한 요약 통계량만 선택함으로써 계산 효율성과 강인성을 향상시키기 위해.
• 사회과학자들과 연구자들이 익숙한 통계 도구를 사용해 사용자 친화적이고 해석 가능한 방법을 제공하기 위해.

제안 방법

• 수치 최소화 대신 정규화된 선형 회귀를 사용하는 예측 문제로 간접 추정 추정을 재구성하기 위해.
• 다양한 모수 값을 가진 모델을 여러 번 실행하여 (모수, 요약 통계량) 쌍의 훈련 데이터를 생성하기 위해 시뮬레이션 데이터를 대량으로 생성하기 위해.
• 정규화된 회귀 모델(예: 라소 또는 릿지)을 훈련시어 요약 통계량에서 모수를 예측하도록 하며, 여기서 정규화는 가장 정보가 많은 통계량을 선택한다.
• 실제 데이터의 관측된 요약 통계량을 입력하여 훈련된 회귀 모델을 사용해 모수를 예측하기 위해.
• 각 요약 통계량 집합이 어떤 모델에서 유래되었는지 예측하기 위해 시뮬레이션 데이터를 기반으로 분류기를 훈련시켜 모델 선택으로 방법을 확장하기 위해.
• 교차 검증과 예측 성능 지표를 사용해 회귀 및 분류 모델을 검증하여 강인성과 일반화 능력을 확보하기 위해.

실험 결과

연구 질문

• RQ1 정규화된 회귀가 수치 최소화를 대체함으로써 추정 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 사전 영역 지식 없이 정규화가 가장 예측력 있는 요약 통계량을 자동으로 선택하는 데 얼마나 효과적인가?
• RQ3 동일한 프레임워크를 분류로 대체함으로써 모델 선택으로 확장할 수 있는가?
• RQ4 이 방법은 전통적인 시뮬레이션 최소 거리법 또는 ABC 접근법과 비교해 계산 효율성과 강인성 측면에서 어떻게 다른가?
• RQ5 단일 예측이 필요한 경우 글로벌 회귀 모델과 전이적 방법 간의 영향은 무엇인가?

주요 결과

• 정규화 덕분에 큰 풀에서 예측력 있는 통계량을 자동으로 식별하므로, 수동으로 요약 통계량을 선택할 필요가 없어진다.
• 회귀 모델이 요약 통계량에서 모수로 직접 매핑하기 때문에 거리 함수를 정의할 필요가 없어지며, 학습 과정에서 통계량이 암묵적으로 가중치를 받는다.
• 세 가지 테스트 케이스(통계적 선형 적합, 실제 비즈니스 사이클 모델, 어업 에이전트 기반 모델)에서 정확한 모수 추정을 달성했다.
• 어업 모델에서는 타당한 대안들 사이에서 최적의 히وري스틱(탐색-실험-모방)을 정확히 식별하여, 모델 선택에서의 유용성을 입증했다.
• 정규화된 회귀의 사용으로 유의미한 요약 통계량만 최종 모수 추정에 기여하므로 안정성과 해석 가능성 향상이 이루어졌다.
• 이 프레임워크는 모델 복잡성에 따라 잘 스케일업되며, 고차원 데이터와 정확한 우도가 없는 모델에 적용 가능하다.