[논문 리뷰] Workshop on Quantification, Communication, and Interpretation of Uncertainty in Simulation and Data Science

Ross Whitaker, William B. Thompson외 8명|arXiv (Cornell University)|2020. 04. 27.

Data Visualization and Analytics참고 문헌 48인용 수 4

한 줄 요약

이 워크숍 보고서는 시뮬레이션 및 데이터 과학에서 불확실성의 정량화, 전달, 해석 방식에 있어 핵심적인 격차를 규명한다. 이 보고서는 대규모 시뮬레이션 불확실성, 데이터 과학 불확실성, 불확실성 계산을 위한 소프트웨어 지원, 이해관계자 간 소통의 네 분야에서 통합적이고 다학제적 접근을 통해 데이터 기반 분야에서의 의사결정 신뢰도를 향상시키기 위한 공동 연구 의제를 제안한다.

ABSTRACT

Modern science, technology, and politics are all permeated by data that comes from people, measurements, or computational processes. While this data is often incomplete, corrupt, or lacking in sufficient accuracy and precision, explicit consideration of uncertainty is rarely part of the computational and decision making pipeline. The CCC Workshop on Quantification, Communication, and Interpretation of Uncertainty in Simulation and Data Science explored this problem, identifying significant shortcomings in the ways we currently process, present, and interpret uncertain data. Specific recommendations on a research agenda for the future were made in four areas: uncertainty quantification in large-scale computational simulations, uncertainty quantification in data science, software support for uncertainty computation, and better integration of uncertainty quantification and communication to stakeholders.

연구 동기 및 목표

• 과학, 기술, 정책 분야의 계산 및 의사결정 파이프라인 전반에서 명시적인 불확실성 처리 부족을 해결하기 위해.
• 시뮬레이션 및 데이터 과학에서 불확실한 데이터를 처리하고, 표현하며, 해석하는 데 있어 현재 관행의 체계적 결함을 규명하기 위해.
• 대규모 계산 시스템 및 데이터 기반 응용 분야에서 불확실성 정량화(UQ) 및 전달을 향상시키기 위한 종합적인 연구 의제를 수립하기 위해.
• 실제 적용 환경에서 투명성과 의사결정 품질을 향상시키기 위해 UQ 방법을 이해관계자 요구와 더 잘 통합하기 위해.
• 데이터 및 시뮬레이션 워크플로우에서 강력하고 확장 가능하며 접근 가능한 불확실성 계산을 지원하는 소프트웨어 인프라를 강화하기 위해.

제안 방법

• 컴퓨팅 커뮤니티 콈터시온(CCC)의 주도로 다학제적 워크숍을 개최하여 현재의 UQ 관행과 과제를 평가하기 위해.
• 통계, 컴퓨터 과학, 데이터 과학, 도메인 과학 전문가들의 통찰을 종합하여 핵심 연구 격차를 규명하기 위해.
• 네 가지 주제 분야(대규모 시뮬레이션에서의 UQ, 데이터 과학에서의 UQ, 불확실성에 대한 소프트웨어 지원, 이해관계자 간 소통)에 걸쳐 권고안을 마련하기 위해.
• 불확실성 표현과 전파를 내재적으로 지원하는 표준화되고 확장 가능한 소프트웨어 도구의 필요성을 강조하기 위해.
• 불확실성 전달을 시각화, 보고서, 의사결정 지원 시스템에 통합하기 위해 권고하기 위해.
• 기술적 UQ 방법을 인간의 인지 및 이해관계자 의사결정 요구와 맞추기 위한 프레임워크를 제안하기 위해.

실험 결과

연구 질문

• RQ1 대규모 계산 시뮬레이션에서의 불확실성 정량화 접근 방식에 있어 주요 결함는 무엇인가?
• RQ2 데이터 과학 워크플로우에서의 불확실성은 어떻게 체계적으로 정량화하고 비전문가 이해관계자에게 전달할 수 있는가?
• RQ3 확장 가능하고 신뢰성 있으며 사용자 접근성이 높은 불확실성 계산을 가능하게 하는 소프트웨어 아키텍처와 도구는 무엇이 필요한가?
• RQ4 과학, 정책, 산업 분야에서 의사결정을 향상시키기 위해 불확실성 전달 방식은 어떻게 개선될 수 있는가?
• RQ5 기술적 UQ 방법과 실질적 이해관계자 요구 간 격차를 메우기 위해 필요한 다학제적 연구 길은 무엇인가?

주요 결과

• 현재의 계산 및 의사결정 파이프라인은 종종 불확실성을 간과하거나 부적절하게 표현하여 결과에 대한 과도한 자신감을 갖게 한다.
• 시뮬레이션 및 데이터 과학 워크플로우에서 불확실성 계산을 위한 표준화되고 상호운용 가능한 소프트웨어 도구가 크게 부족하다.
• 정책 입안자 및 도메인 전문가를 포함한 이해관계자들은 불확실성 정보에 접근하거나 이해할 수 없을 정도로 열악한 소통 관행로 인해 정보에 접근하지 못하거나 이해하지 못하는 경우가 많다.
• 불확실성 정량화를 시각화 및 의사결정 지원 시스템과 통합하는 일은 여전히 개발이 부족하고 일관성이 없으며 불완전하다.
• 시뮬레이션, 데이터 과학, 소프트웨어, 소통 분야에서 UQ를 발전시키기 위해 통합적이고 다학제적인 연구 의제가 필수적이다.
• 워크숍은 네 핵심 분야 각각에 대해 향후 연구를 위한 구체적인 권고사항을 포함한 기초 연구 로드맵을 수립하였다.