[논문 리뷰] Scaffolding Simulations with Deep Learning for High-dimensional Deconvolution

Anders Andreassen, Patrick Komiske외 4명|arXiv (Cornell University)|2021. 05. 10.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 20

한 줄 요약

OmniFold는 실험 데이터에서 고차원 검출기 왜곡을 제거하기 위해 이진 분류기들을 통한 우도비 추정을 활용하는 딥러닝 기반의 unbinned 탈중복화 방법이다. 이는 전통적인 빈(bin) 기반의 deconvolution 방법의 한계를 극복하여, 빈(bin) 없이 노이즈, 수용율, 효율성 등의 영향을 처리할 수 있도록 Richardson-Lucy 알고리즘을 확장함으로써 과학적 시뮬레이션에서 상태의 정밀도와 수렴성으로서 최신 기술 수준을 달성하며 소수의 반복 횟수 내에 정확한 고차원 진실 분포 재구성을 가능하게 한다.

ABSTRACT

A common setting for scientific inference is the ability to sample from a high-fidelity forward model (simulation) without having an explicit probability density of the data. We propose a simulation-based maximum likelihood deconvolution approach in this setting called OmniFold. Deep learning enables this approach to be naturally unbinned and (variable-, and) high-dimensional. In contrast to model parameter estimation, the goal of deconvolution is to remove detector distortions in order to enable a variety of down-stream inference tasks. Our approach is the deep learning generalization of the common Richardson-Lucy approach that is also called Iterative Bayesian Unfolding in particle physics. We show how OmniFold can not only remove detector distortions, but it can also account for noise processes and acceptance effects.

연구 동기 및 목표

• 기존의 Richardson-Lucy와 같은 전통적인 빈 기반 탈중복화 방법이 고정된 빈(bin)을 필요로 하고 고차원 또는 변수 차원 데이터에서는 어려움을 겪는 점을 해결하기 위해.
• 딥러닝을 활용하여 직접 unbinned, 고차원 데이터에서 작동하는 시뮬레이션 기반 최대우도 탈중복화 프레임워크를 개발하기 위해.
• 노이즈 프로세스, 검출기 수용율, 효율성 임계치 등의 실제 실험적 영향을 탈중복화 과정에 통합하기 위해.
• 응답 함수의 분석 모델에 의존하지 않고도 검출기 수준 데이터로부터 진실 수준 분포를 정확하게 재구성할 수 있도록 하기 위해.
• 고에너지 물리학 및 기타 데이터 집약적 분야에서 과학적 추론을 위한 확장 가능하고, 미분 가능하며 통계적으로 타당한 방법을 제공하기 위해.

제안 방법

• OmniFold는 딥 네ural 네트워크를 통한 반복적 우도비 추정을 사용하여 검출기 응답의 역함수를 근사하며, 기존의 행렬 역행렬 계산을 엔드 투 엔드 학습으로 대체한다.
• 탈중복화를 이진 분류 작업의 시리즈로 설정: 진실 수준 샘플과 데이터 수준 샘플을 구분하며, 클래스 조건부 밀도는 신경망을 통해 추정한다.
• 가중치가 부여된 분류기들을 사용하여 우도비 $ p_{S|G} / p_{S|G}^{ ext{prior}} $를 추정하고, 이는 반복적 탈중복화 과정을 이끈다.
• 노이즈를 처리하기 위해 신호와 배경을 구분하는 분류기를 훈련하고, 공백 값($\emptyset$)과 가중치가 부여된 훈련 샘플을 통해 수용율과 효율성을 고려한다.
• 이중 단계 반복 프로세스를 사용한다: 단계 I은 데이터와 시뮬레이션으로부터 진실 수준 분포를 추정하고, 단계 II는 우도비를 사용하여 신호 재구성을 정밀하게 한다.
• 프레임워크는 ReLU 활성화 함수를 사용하는 완전 연결 신경망과 시그모이드 출력을 사용하며, 조기 정지 기법을 적용한 Adam 최적화 알고리즘으로 훈련된다.

실험 결과

연구 질문

• RQ1 딥러닝을 통해 분석적 응답 모델이 없는 상황에서 unbinned, 고차원 탈중복화가 가능할 수 있는가?
• RQ2 노이즈, 수용율, 효율성 등의 보조 기능을 포함할 경우 탈중복화의 정확도와 수렴성에 어떤 영향을 미치는가?
• RQ3 우도비 추정 기반의 미분 가능하고 반복적인 프레임워크가 고차원 환경에서 기존의 빈 기반 방법(Richardson-Lucy)을 능가할 수 있는가?
• RQ4 비균일한 수용율과 효율성 임계치와 같은 복잡한 검출기 효과를 얼마나 잘 처리할 수 있는가?
• RQ5 신경망을 사용한 우도비 추정이 통계적 일致성과 최대우도 성질을 유지하는가?

주요 결과

• OmniFold는 단 3회의 반복만으로 거의 수렴 상태에 도달하며, 일차원 가우시안 예제에서 여러 실행 간에 결과가 안정적이고 일관되게 유지된다.
• 오차가 5차원 가우시안 테스트 케이스에서 모든 가용 기능($X_D, X_S, Z_0, ..., Z_4$)을 사용할 경우 평균 절대편차가 $3.1 \times 10^{-2}$로 감소하였고, 표준편차는 $3.1 \times 10^{-2}$였다. 이는 진짜 값 30.00에 매우 가까운 결과이다.
• 기능 수가 증가함에 따라 정확도가 유지되어 고차원 입력 공간에 대한 강건성을 입증한다.
• 노이즈 성분($Z_i$)과 같은 보조 변수를 포함할 경우 정밀도가 크게 향상되며, 반복 과정에서 평균의 표준편차가 8.4(5)에서 3.1(2)로 감소한다.
• 모든 시나리오에서 평균이 진짜 값의 $2\sigma$ 이내에 위치함으로써, 알고리즘이 최소한의 편향으로 진짜 분포를 성공적으로 재구성함을 입증한다.
• 프레임워크는 이전 연구에서 콜라이더 물리학에서 딥 세트를 활용하여 보여진 바와 같이, 순서 불변성 및 가변 길이 입력과 같은 복잡한 데이터 유형으로도 확장 가능하다.