[논문 리뷰] CUQIpy: I. Computational uncertainty quantification for inverse problems in Python

Nicolai A. B. Riis, Amal Alghamdi외 5명|arXiv (Cornell University)|2023. 05. 26.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 4

한 줄 요약

CUQIpy는 베이지안 프레임워크를 사용하여 역문제에서의 계산적 불확실성 정량화(UQ)를 위한 오픈소스 파이썬 패키지입니다. 사용자가 직관적인 문법으로 역문제를 모델링할 수 있도록 하며, 최적의 샘플링 전략을 자동으로 선택하고, CT 및 이미지 흐림제거와 같은 대규모 영상 응용 분야를 효율적이고 구조 인식 가능한 샘플링을 통해 지원하며, PyTorch 및 FEniCS와 같은 라이브러리와의 통합을 제공합니다.

ABSTRACT

This paper introduces CUQIpy, a versatile open-source Python package for computational uncertainty quantification (UQ) in inverse problems, presented as Part I of a two-part series. CUQIpy employs a Bayesian framework, integrating prior knowledge with observed data to produce posterior probability distributions that characterize the uncertainty in computed solutions to inverse problems. The package offers a high-level modeling framework with concise syntax, allowing users to easily specify their inverse problems, prior information, and statistical assumptions. CUQIpy supports a range of efficient sampling strategies and is designed to handle large-scale problems. Notably, the automatic sampler selection feature analyzes the problem structure and chooses a suitable sampler without user intervention, streamlining the process. With a selection of probability distributions, test problems, computational methods, and visualization tools, CUQIpy serves as a powerful, flexible, and adaptable tool for UQ in a wide selection of inverse problems. Part II of the series focuses on the use of CUQIpy for UQ in inverse problems with partial differential equations (PDEs).

연구 동기 및 목표

• 과학 및 공학 분야에서 대규모 역문제에 대한 확장성 있고 접근 가능한 불확실성 정량화의 증가하는 수요를 충족시키기 위해.
• 전문가가 샘플링 및 계산 방법을 완전히 제어할 수 있도록 하면서도, 비전문가가 베이지안 역문제를 모델링할 수 있도록 사용자 友好的이면서도 확장 가능한 프레임워크를 제공하기 위해.
• 문제의 구조(예: 선형성 및 분포 관계)에 맞춰 최적화된 고급 샘플링 전략을 지원함으로써 이론적 UQ와 실질적 구현 사이의 격차를 메우기 위해.
• 현대적인 배열 라이브러리(예: PyTorch) 및 제3자 도구와의 상호운용성을 보장하기 위해 플러그인 아키텍처를 통해 성능과 유연성을 향상시키기 위해.
• 의료 영상 및 지구과학과 같은 실제 응용 분야에서 UQ의 도입을 촉진하기 위해 내장된 테스트 문제, 시각화 도구 및 효율적인 계산 파이프라인을 제공하기 위해.

제안 방법

• 역문제를 베이지안 프레임워크 내에서 기술하여, 노이즈가 있는 데이터와 사전 지식을 결합해 사후 분포를 도출합니다.
• 수학적 표기와 밀접하게 일치하는 고수준의 모델링 인터페이스를 제공하여, 랜덤 변수와 계층 모델을 간결하게 기술할 수 있도록 합니다.
• 문제의 구조를 분석하고 최적의 샘플링 방법(예: NUTS, 하이퍼볼릭 몬테카를로)을 자동으로 선택하는 `BayesianProblem` 클래스를 통해 자동 샘플러 선택을 통합합니다. 사용자 간섭 없이 작동합니다.
• 배경에 관계없이 배열 연산을 지원하여, GPU 가속 및 자동 미분을 위한 NumPy, PyTorch 또는 기타 백엔드를 원활하게 사용할 수 있도록 합니다.
• CIL(CT용), FEniCS(유한요소용), PyTorch(자동 미분용)와 같은 외부 라이브러리와의 기능 확장을 위한 플러그인 시스템을 제공합니다.
• 고차원 공간에서 복잡한 사후 분포를 효율적으로 탐색하기 위해 기울기 정보를 활용하는 고급 샘플링 기법, 예를 들어 No-U-Turn Sampler(NUTS)를 활용합니다.

Figure 1 : Figures generated by CUQIpy ’s automatic UQ analysis of the built-in 2D deconvolution test problem Deconvolution2D with a blurred cookie. Far left: True sharp image. Middle left: Observed blurred and noisy image. Middle right: Deblurred image (posterior mean). Far right: Quantification of

실험 결과

연구 질문

• RQ1 대규모 역문제에서 불확실성 정량화를 지원하기 위한 통합적이고 접근 가능하며 확장 가능한 소프트웨어 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 자동 샘플러 선택 기능이 비전문가 사용자의 사용성과 성능을 향상시키는 데 어떤 역할을 하는가?
• RQ3 전문가 사용자가 고수준 추상화와 저수준 제어 사이의 균형을 유지할 수 있도록 확률 프로그래밍 인터페이스는 어떻게 설계할 수 있는가?
• RQ4 현대적인 계산 백엔드(예: PyTorch)와의 통합은 UQ 워크플로우의 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 모듈러 플러그인 아키텍처는 의료 영상 및 PDE 제약 문제와 같은 다양한 응용 분야로 핵심 UQ 라이브러리의 영향력을 어떻게 효과적으로 확장할 수 있는가?

주요 결과

• CUQIpy는 수학적 표기와 유사한 직관적인 문법을 사용하여 최소한의 코드로 베이지안 역문제를 모델링하고 해결할 수 있도록 함으로써 성공적으로 기능합니다.
• 자동 샘플러 선택 기능은 문제의 구조를 기반으로 적절한 샘플링 전략(예: NUTS)을 효과적으로 식별하고 적용하여 사용자 부담을 감소시키고 신뢰성을 향상시킵니다.
• Pyro 기반의 `cuqipypyTorch` 플러그인을 통해 복잡한 계층 모델(예: Eight Schools 문제)에 대해 1000개의 사후 표본과 500개의 워밍업 표본을 효율적으로 동시 샘플링할 수 있었습니다.
• Eight Schools 문제에서의 평균 치료 효과는 5.6로 추정되었으며 표준편차는 12.7이었고, 기존 소프트웨어의 결과와 일치하여 프레임워크의 정확성을 검증했습니다.
• PyTorch와의 통합을 통해 자동 미분 및 GPU 가속이 가능해져 대규모 문제에서 성능이 크게 향상되었습니다.
• 프레임워크는 다양한 확률 분포, 계산 방법, 시각화 도구(예: 사후 분석을 위한 바이올린 플롯)를 지원하여 이해 가능성과 재현 가능성을 향상시켰습니다.