[論文レビュー] Workshop on Quantification, Communication, and Interpretation of Uncertainty in Simulation and Data Science

Ross Whitaker, William B. Thompson+8 more|arXiv (Cornell University)|Apr 27, 2020

Data Visualization and Analytics参考文献 48被引用数 4

ひとこと要約

このワークショップレポートは、シミュレーションおよびデータサイエンスにおける不確実性の定量化、伝達、解釈に関する重要なギャップを特定する。4つの分野—大規模シミュレーションの不確実性、データサイエンスの不確実性、不確実性計算のソフトウェア支援、ステークホルダーとのコミュニケーション—にわたる包括的で統合的な研究アジェンダを提言し、データドリブン分野における意思決定の信頼性を向上させるための、統合的かつ多分野的な取り組みの重要性を強調する。

ABSTRACT

Modern science, technology, and politics are all permeated by data that comes from people, measurements, or computational processes. While this data is often incomplete, corrupt, or lacking in sufficient accuracy and precision, explicit consideration of uncertainty is rarely part of the computational and decision making pipeline. The CCC Workshop on Quantification, Communication, and Interpretation of Uncertainty in Simulation and Data Science explored this problem, identifying significant shortcomings in the ways we currently process, present, and interpret uncertain data. Specific recommendations on a research agenda for the future were made in four areas: uncertainty quantification in large-scale computational simulations, uncertainty quantification in data science, software support for uncertainty computation, and better integration of uncertainty quantification and communication to stakeholders.

研究の動機と目的

• 科学、技術、政策分野の計算および意思決定プロセスにおいて、不確実性の明示的取り扱いが広く欠落している問題に対処すること。
• シミュレーションおよびデータサイエンスにおける不確実なデータの処理、提示、解釈に関する現在の実務における構造的欠陥を特定すること。
• 大規模な計算システムおよびデータドリブンアプリケーションにおける不確実性定量化（UQ）および伝達を前進させる包括的な研究アジェンダを開発すること。
• UQ手法をステークホルダーのニーズとよりよく統合することで、現実世界の文脈における透明性と意思決定の質を向上させること。
• データおよびシミュレーションワークフローにおける不確実性計算を支える、堅牢でスケーラブルかつアクセス可能なソフトウェアインfraを強化すること。

提案手法

• 計算コミュニティ協会（CCC）の下で、多分野のワークショップを実施し、現在のUQ実務および課題を評価した。
• 統計、コンピュータサイエンス、データサイエンス、分野科学の専門家からの知見を統合し、主要な研究ギャップを同定した。
• 4つのテーマ分野（大規模シミュレーションにおけるUQ、データサイエンスにおけるUQ、不確実性のためのソフトウェア支援、ステークホルダーとのコミュニケーション）にわたり、提言を策定した。
• 不確実性の表現と伝播をネイティブにサポートする標準的で拡張可能なソフトウェアツールの必要性を強調した。
• 可視化、レポート、意思決定支援システムに不確実性の伝達を統合するよう提言した。
• 技術的UQ手法を人間の認知およびステークホルダーの意思決定ニーズと一致させるフレームワークを提案した。

実験結果

リサーチクエスチョン

• RQ1 大規模な計算シミュレーションにおける不確実性定量化の現在のアプローチにおける主な欠陥は何か？
• RQ2 データサイエンスワークフローにおける不確実性は、非専門家ステークホルダーにどのように体系的に定量化され、伝達されるべきか？
• RQ3 スケーラブルで信頼性が高く、ユーザーがアクセス可能な不確実性計算を可能にするために、どのようなソフトウェアアーキテクチャとツールが必要か？
• RQ4 科学、政策、産業分野における意思決定を向上させるために、不確実性の伝達はどのように改善されるべきか？
• RQ5 技術的UQ手法と実際のステークホルダーのニーズの間のギャップを埋めるために、どのような多分野的研究ルートが必要か？

主な発見

• 現在の計算および意思決定プロセスは、不確実性を無視したり、不十分に表現したりしており、結果に対する過剰な自信を生じさせている。
• シミュレーションおよびデータサイエンスワークフローにおける不確実性計算のための標準的かつ相互運用可能なソフトウェアツールが著しく不足している。
• 政策立案者や分野専門家を含むステークホルダーは、通信手法が不十分なために、不確実性情報へのアクセスまたは理解が不足している。
• 不確実性定量化を可視化および意思決定支援システムに統合する取り組みは、未だ不十分で一貫性に欠けている。
• シミュレーション、データサイエンス、ソフトウェア、コミュニケーションの分野におけるUQを前進させるために、調整された多分野的研究アジェンダが不可欠である。
• ワークショップは、4つの主要分野それぞれにおける今後の作業のための具体的な提言を含む、基盤的な研究ロードマップを策定した。