[論文レビュー] Decision-Making Under Uncertainty in Research Synthesis: Designing for the Garden of Forking Paths

Alex Kale, Matthew Kay+1 more|arXiv (Cornell University)|Jan 9, 2019

Data Visualization and Analytics参考文献 66被引用数 12

ひとこと要約

本稿は、研究統合における不確実性下での意思決定を調査し、11名の研究者を対象に480件の分析的意思決定を特定し、『分岐路の庭』状況における不確実性の探索・考察・伝達を支援するインタラクティブシステムの構築を提言する。研究者らが意思決定の正当化に注力するのではなく、その結果に与える影響を評価するのを支援するツールの開発と、不確かな結果の価値を損なわずに伝えるためのコミュニケーション戦略の支援を提唱する。

ABSTRACT

To make evidence-based recommendations to decision-makers, researchers conducting systematic reviews and meta-analyses must navigate a garden of forking paths: a series of analytical decision-points, each of which has the potential to influence findings. To identify challenges and opportunities related to designing systems to help researchers manage uncertainty around which of multiple analyses is best, we interviewed 11 professional researchers who conduct research synthesis to inform decision-making within three organizations. We conducted a qualitative analysis identifying 480 analytical decisions made by researchers throughout the scientific process. We present descriptions of current practices in applied research synthesis and corresponding design challenges: making it more feasible for researchers to try and compare analyses, shifting researchers' attention from rationales for decisions to impacts on results, and supporting communication techniques that acknowledge decision-makers' aversions to uncertainty. We identify opportunities to design systems which help researchers explore, reason about, and communicate uncertainty in decision-making about possible analyses in research synthesis.

研究の動機と目的

• 証拠に基づく研究統合の文脈において、研究者が不確実性下でどのように分析的意思決定を行うかを理解すること。
• 意思決定の正当化とその結果への実際の影響の両立の難しさを含め、研究統合の過程で不確実性を管理する上でのシステム的課題を特定すること。
• 懐疑的である一方で、実行可能で説得力のある提言を必要とする状況において、研究者がどのようにバランスを取るかを検討すること。
• 代替的分析の探索と不確実性の透明な伝達を支援するインタラクティブシステムの設計機会を同定すること。
• 意思決定者が不確実性を避けがちな傾向を是正するため、不確実な発見の価値を損なわずに保つコミュニケーション技法の開発を支援すること。

提案手法

• 米海軍、公共大学の医療センター、ベテラン・サービス医療センターの3機関に所属する11名の専門研究者を対象に、深掘りかつオープンエンドなインタビューを実施した。
• 研究統合プロセス全体を通じて発生した480件の分析的意思決定を特定・コード化し、根拠、影響、意思決定戦略に焦点を当てた。
• 質的分析を用いて、繰り返し現れる課題を解明した：複数の分析経路を検討するのと1つに絞るのとの間の葛藤、根拠と実際の影響の乖離、懐疑的姿勢と明確な提言の両立。
• 効用理論（von Neumann et al., 1944）と不確実性可視化の原則を統合し、設計機会を導出する。
• 以下の3点を支援するシステム機能の提案：(1) 代替的分析の探索、(2) 意思決定の根拠の文書化、(3) 定性的および定量的不確実性の伝達。
• 効用関数に整合する形で、不確実性の可視化と、意思決定者による不確実性への嫌悪を緩和するためのカスタマイズされたコミュニケーション技法の設計を強調した。

実験結果

リサーチクエスチョン

• RQ1 実務的応用研究統合において、研究者が分析的意思決定を行う際、『分岐路の庭』状況をどのように乗り越えているか。
• RQ2 意思決定の正当化とその結果に与える実際の影響の両立において、研究者が直面する主な課題は何か。
• RQ3 意思決定者が不確実性を避けがちな傾向が、研究統合の結果の提示方法やその価値認識にどのように影響しているか。
• RQ4 研究者が分析選択における不確実性を探索・文書化・伝達するのを支援するシステムの設計機会は何か。
• RQ5 研究者が意思決定の正当化から、その結果に与える影響の評価へと焦点を移すのを支援するシステムは、どのように設計すべきか。

主な発見

• 研究統合プロセス全体で研究者が平均して480件の分析的意思決定を行うが、その正当化の仕方や結果に与える実際の影響には顕著なばらつきが見られる。
• 研究者が意思決定の根拠を提示するのと、その意思決定が結果に与える実際の影響との間に顕著な乖離が存在し、意思決定の正当化から影響評価への焦点の転換が求められる。
• 意思決定者は、不確実な結果を「実行不能」として拒否しがちだが、それらには貴重な情報が含まれている場合が多く、不確実性への嫌悪を是正するためのコミュニケーション技法の開発が不可欠である。
• 研究者はしばしば制限事項のセクションや補足スライドといった定性的な注意喚起を用いて前提や制約を伝えるが、これらはしばしば未活用または体系的に表現されていない。
• 提案されたシステムは、研究者が複数の分析経路を探索し、意思決定の根拠を文書化し、意思決定者の効用関数と整合する形で不確実性を可視化するのを支援できる。
• 導出された指標（例：時間またはコストの削減）に不確実性の伝播を組み込むことで、意思決定者が不確実な結果をより的確に理解・活用できるようになる。