[논문 리뷰] Neural Networks for Parameter Estimation in Intractable Models

Amanda Lenzi, Julie Bessac외 2명|arXiv (Cornell University)|2021. 07. 29.

Fault Detection and Control Systems인용 수 6

한 줄 요약

이 논문은 유사한 데이터를 입력으로 사용하여 신경망을 훈련시켜 데이터에서 직접 매개변수로 매핑하는 딥러닝 접근법을 제안한다. 이 방법은 극단적 분포를 가진 통계 모델에서 비가능한 우도 함수를 갖는 경우에 대해 기존의 쌍별 우도 추정보다 정확도와 속도 면에서 뛰어나며, 우도 기반 추론의 대체 방법으로서 확장 가능한 시뮬레이션 기반 접근법을 제공한다.

ABSTRACT

We propose to use deep learning to estimate parameters in statistical models when standard likelihood estimation methods are computationally infeasible. We show how to estimate parameters from max-stable processes, where inference is exceptionally challenging even with small datasets but simulation is straightforward. We use data from model simulations as input and train deep neural networks to learn statistical parameters. Our neural-network-based method provides a competitive alternative to current approaches, as demonstrated by considerable accuracy and computational time improvements. It serves as a proof of concept for deep learning in statistical parameter estimation and can be extended to other estimation problems.

연구 동기 및 목표

• 복잡한 통계 모델에서 우도 기반 추론의 계산 비용이 과도한 문제를 해결하기 위해, 특히 다변량 극단가에 대해.
• 복합 우도와 ABC 방법의 한계를 극복하기 위해, 요약 통계량에 민감하거나 높은 계산 비용이 발생하는 문제를 해결하기 위해.
• 우도 평가가 불가능한 경우에 시뮬레이션 기반 추론 프레임워크를 개발하여 신경망을 유사 데이터로 훈련시켜 우도 평가를 피하는 방법을 제안하기 위해.
• 시뮬레이션은 가능하지만 우도 계산이 과도한 모델에서 딥 뉴럴 네트워크의 매개변수 추정 가능성을 입증하기 위해.

제안 방법

• 통계 모델에서 유사 데이터를 입력으로, 해당 모델의 매개변수를 출력 레이블로 사용하여 딥 뉴럴 네트워크를 훈련한다.
• 다변량 극단가치 데이터의 공간적 의존성 구조, 특히 극단적 의존 패턴을 포착하기 위해 합성곱 신경망(CNN)을 사용한다.
• 딥러닝이 고차원 데이터에서 매개변수로의 비선형 맵핑을 수동 특징 공학 없이 자동으로 학습할 수 있는 능력을 활용한다.
• 사전 처리 단계에서 한 번만 네트워크를 훈련시켜, 구현 시 새로운 데이터셋에 대해 빠르고 확장 가능한 추론을 가능하게 한다.
• 기존 ABC가 요약 통계량과 거리 측정 기반에 의존하는 데 반해, 데이터에서 매개변수로 직접 매핑하는 엔드 투 엔드 학습 접근법을 도입한다.
• 공간적으로 의존적인 유사 데이터를 사용하여 범위, 매끄러움, 의존성 매개변수를 추정하기 위해 최대 안정 과정(예: Brown-Resnick 및 Schlather 모델)에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 비가능한 우도 함수를 갖는 모델에서 유사 데이터에서 매개변수로의 역함수 맵핑을 효과적으로 학습할 수 있는가?
• RQ2 제안된 딥러닝 방법의 성능은 기존의 쌍별 우도 추정에 비해 편향, 분산, 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 요약 통계량이나 수작업 특징에 의존하지 않고, 신경망이 복잡한 공간적 극단적 의존성 구조를 얼마나 잘 포착할 수 있는가?
• RQ4 재훈련 없이도 다양한 데이터셋과 매개변수 설정에 대해 일반화 가능한가?
• RQ5 고차원, 비정규 분포 의존성 모델에서 딥러닝과 기존 ABC 또는 우도 기반 추론 간의 계산 및 통계적 트레이드오프는 어떠한가?

주요 결과

• 딥러닝 접근법은 Brown-Resnick 및 Schlather 모델 모두에서 쌍별 우도 추정보다 훨씬 낮은 편향과 분산을 기록했다.
• CNN 기반 방법은 극단계수 함수의 하위 분위수, 최소값, 평균값 예측에서 쌍별 우도를 능가했다.
• 이 방법은 뚜렷한 계산 속도 향상을 보였으며, 한 번의 사전 훈련 후에 빠른 추론이 가능했다.
• 특히 더 큰 공간적 간격에서, CNN은 쌍별 우도보다 고극단 의존 패턴(예: θ(h) < 1.5)을 더 정확히 포착했다.
• 최댓값과 중간 분위수에서는 CNN이 공간적 의존성을 略적으로 과대평가했고, 쌍별 우도는 이를 약간 과소평가했으며, 이는 편향 프ofile에서의 상충 관계를 보여준다.
• 이 방법은 불확실성 정량화에서도 강건성을 보였으며, 시뮬레이션에서의 95% 신뢰구간이 관측된 예측 구간과 매우 유사하게 일치했다.