[논문 리뷰] Interpretable Uncertainty Quantification in AI for HEP

Thomas Y. Chen, Biprateep Dey외 4명|arXiv (Cornell University)|2022. 08. 05.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 고에너지물리학(HEP) 분야의 인공지능(AI) 응용 분야에서 물리적으로 해석 가능한 불확실성 정량화(UQ)의 필요성을 주장한다. AI 기반 UQ는 전통적인 HEP 통계 및 체계적 불확실성 프레임워크와 일치시켜야 한다고 제안한다. 표준화된 벤치마크, 공동 연구 활동 강화, 그리고 HEP 워크플로우에 해석 가능한 AI 도구를 통합하여 AI 기반 분석에서 신뢰할 수 있고 신뢰성 있으며 과학적으로 의미 있는 불확실성 추정을 확보해야 한다.

ABSTRACT

Estimating uncertainty is at the core of performing scientific measurements in HEP: a measurement is not useful without an estimate of its uncertainty. The goal of uncertainty quantification (UQ) is inextricably linked to the question, "how do we physically and statistically interpret these uncertainties?" The answer to this question depends not only on the computational task we aim to undertake, but also on the methods we use for that task. For artificial intelligence (AI) applications in HEP, there are several areas where interpretable methods for UQ are essential, including inference, simulation, and control/decision-making. There exist some methods for each of these areas, but they have not yet been demonstrated to be as trustworthy as more traditional approaches currently employed in physics (e.g., non-AI frequentist and Bayesian methods). Shedding light on the questions above requires additional understanding of the interplay of AI systems and uncertainty quantification. We briefly discuss the existing methods in each area and relate them to tasks across HEP. We then discuss recommendations for avenues to pursue to develop the necessary techniques for reliable widespread usage of AI with UQ over the next decade.

연구 동기 및 목표

• 고에너지물리학(HEP) 분야에서 AI 응용의 신뢰할 수 있는 불확실성 정량화(UQ)의 증가하는 필요성을 다루며, 전통적인 통계 및 체계적 불확실성 기반 프레임워크가 핵심이라는 점을 강조한다.
• AI 불확실성 용어(알레아토릭/에피스테믹)와 HEP 불확실성 유형(통계적/체계적) 간의 괴리로 인해 신뢰성과 해석 가능성에 장애가 발생하고 있음을 규명한다.
• 특히 HEP의 추론, 시뮬레이션, 제어 작업에 적용되는 AI 기반 UQ 방법의 물리적 해석 가능성과 통계적 엄밀성을 확보할 것을 촉구한다.
• HEP, 통계학, AI 공동체 간의 협력을 촉진하여 용어 통일화 및 해석 가능한 UQ 방법 평가를 위한 공동 벤치마크 개발을 추진한다.
• 표준 소프트웨어 스택에 통합하고 경쟁적 챌린지 지원을 통해 새로운 AI UQ 기법의 HEP 분야 내 도입을 가속화한다.

제안 방법

• 예측 불확실성과 관측 오차 빈도 간의 일치 여부를 평가하기 위해 엄격한 局부 캘리브레이션 테스트를 제안한다.
• 입자 재구성, 분류, 시뮬레이션 서rogate 모델링 등 HEP 작업을 대상으로 해석 가능한 UQ 방법을 테스트하고 비교할 수 있는 공동 벤치마크 데이터셋 구축을 권장한다.
• LIME, 셰플리 값, 부분 의존도 플롯, ALE 플롯과 같은 기존의 해석 가능성 도구를 HEP 워크플로우에 통합하여 모델의 투명성을 향상시키는 것을 주장한다.
• 딥러닝 소프트웨어 스택(예: scikit-learn와 유사하게)에 공통 UQ 방법을 통합하여 HEP 공동체 전반에서 광범위하고 표준화된 사용을 가능하게 한다.
• HEP, 통계학, AI 공동체 간의 통일된 어휘 개발이 불확실성 해석의 모호성 감소를 위해 필수적임을 강조한다.
• 특히 통계적 기원이 없는 불확실성(예: 이론적 또는 모델 형식 불확실성)에 초점을 맞춘 UQ 및 편향 완화를 위한 자금 지원 챌린지 및 경쟁 대회를 추진한다.

실험 결과

연구 질문

• RQ1 HEP에서 AI 기반 불확실성 추정은 어떻게 물리적으로 해석 가능하게 하고, 기존의 통계 및 체계적 불확실성 프레임워크와 일치시킬 수 있는가?
• RQ2 현재의 AI 불확실성 방법(예: 알레아토릭 및 에피스테믹 불확실성)이 HEP의 통계적 및 체계적 불확실성 유형과 어느 정도 일치하는가?
• RQ3 모델 형식 오류나 계산 불가능한 양자장론(QFT) 효과와 같은 비통계적 기원에서 기인하는 불확실성일 경우, AI로 불확실성 추정을 감소시키는 데서 발생할 수 있는 위험은 무엇인가?
• RQ4 HEP, 통계학, AI 공동체는 어떻게 해서 해석 가능한 UQ를 위한 공동의 언어와 벤치마크 프레임워크를 개발할 수 있는가?
• RQ5 표준 소프트웨어 통합과 경쟁적 챌린지가 HEP에서 믿을 수 있는 AI UQ의 도입을 가속화하는 데 어떤 역할을 해야 하는가?

주요 결과

• AI 불확실성 용어(알레아토릭/에피스테믹)와 HEP 불확실성 유형(통계적/체계적) 간의 심각한 괴리로 인해 AI 기반 물리 분석의 신뢰성과 해석 가능성에 손상이 가고 있다.
• 특히 이론적 또는 시뮬레이션 모델의 한계에서 기인하는 HEP의 체계적 불확실성은 종종 통계적 기원이 없으며 엄밀한 정량화가 어려워, AI 기반 불확실성 감소가 오해의 소지가 있다.
• 현재의 AI UQ 방법은 HEP에서 기존의 빈도주의 또는 베이지안 접근보다 아직도 충분히 신뢰할 수 없으며, 향상된 검증 및 캘리브레이션 기법 개발의 필요성을 드러낸다.
• 해석 가능한 UQ 방법을 HEP 응용 분야 간 비교 및 검증하기 위해 벤치마크 데이터셋과 표준화된 평가 프로토콜이 필수적이다.
• 해석 가능한 UQ 도구를 널리 사용되는 소프트웨어 스택(예: scikit-learn와 유사하게)에 통합하는 것이 HEP 공동체 내 광범위한 도입과 재현 가능성 확보를 위해 필수적이다.
• 자금 지원 기관은 특히 통계적 기원이 없는 불확실성(예: 이론적 또는 모델 형식 불확실성)에 초점을 맞춘 UQ 및 편향 완화를 위한 챌린지 및 경쟁 대회를 지원해야 하며, 이를 통해 방법론적 혁신과 공동체 수준의 검증을 가속화해야 한다.