[논문 리뷰] Decision-Making Under Uncertainty in Research Synthesis: Designing for the Garden of Forking Paths

Alex Kale, Matthew Kay외 1명|arXiv (Cornell University)|2019. 01. 09.

Data Visualization and Analytics참고 문헌 66인용 수 12

한 줄 요약

이 논문은 연구 융합에서의 불확실성 하에서의 의사결정을 조사하며, 11명의 연구자들 사이에서 발생한 480개의 분석적 의사결정을 규명하고, '갈림길의 정원' 상황에서 불확실성을 탐색하고 추론하며 효과적으로 소통할 수 있도록 돕는 상호작용 시스템을 제안한다. 연구는 단지 의사결정의 정당화에서 벗어나 그 결과에 미치는 영향 평가로 초점을 이동시키고, 의사결정자가 불확실성에 대한 싫증을 줄일 수 있도록 지원하는 소통 전략을 강조한다.

ABSTRACT

To make evidence-based recommendations to decision-makers, researchers conducting systematic reviews and meta-analyses must navigate a garden of forking paths: a series of analytical decision-points, each of which has the potential to influence findings. To identify challenges and opportunities related to designing systems to help researchers manage uncertainty around which of multiple analyses is best, we interviewed 11 professional researchers who conduct research synthesis to inform decision-making within three organizations. We conducted a qualitative analysis identifying 480 analytical decisions made by researchers throughout the scientific process. We present descriptions of current practices in applied research synthesis and corresponding design challenges: making it more feasible for researchers to try and compare analyses, shifting researchers' attention from rationales for decisions to impacts on results, and supporting communication techniques that acknowledge decision-makers' aversions to uncertainty. We identify opportunities to design systems which help researchers explore, reason about, and communicate uncertainty in decision-making about possible analyses in research synthesis.

연구 동기 및 목표

• 응용적 연구 융합에서 불확실성 하에서 연구자가 어떻게 분석적 의사결정을 내리는지 이해하는 것.
• 특히 의사결정 정당화와 그 영향 사이의 균형을 유지하는 데 있어 불확실성 관리의 체계적 과제를 규명하는 것.
• 비판적 사고와 실천 가능한, 설득력 있는 권고의 필요성 사이에서 균형을 이루는 방식을 탐색하는 것.
• 분석 선택에 대한 대안적 분석 탐색과 불확실성의 투명한 소통을 지원하는 상호작용 시스템의 설계 기회를 규명하는 것.
• 의사결정자가 불확실성에 대한 싫증을 줄이기 위해, 불확실한 발견의 가치를 유지하는 데 기여하는 소통 기법을 개발하는 것.

제안 방법

• 미해결, 개방형 인터뷰를 통해 3개 기관(해군, 공공 대학의 의료센터, 복지부 의료센터)에서 활동하는 11명의 전문 연구자들을 대상으로 수행하였다.
• 연구 융합 과정 전반에서 발생한 480개의 분석적 의사결정을 규명하고, 그 이유, 영향, 의사결정 전략을 중심으로 코드화하였다.
• 질적 분석을 적용하여 반복적으로 나타나는 과제를 밝혀냈다: 여러 분석 경로 탐색과 하나의 경로에의 집중 사이의 갈등, 이유와 실제 영향 사이의 괴리, 그리고 비판적 사고와 권고의 명확성 사이의 균형.
• 유용성 이론(von Neumann et al., 1944)과 불확실성 시각화 원칙을 통합하여 설계 기회를 도출하였다.
• 다음 기능을 지원하기 위한 시스템 기능을 제안하였다: (1) 대안적 분석 탐색, (2) 의사결정 배경 논리의 문서화, (3) 정성적 및 정량적 불확실성의 소통.
• 특화된 소통 기법과 효과 크기 및 衍생 지표의 불확실성 표현을 통한 시각적 표현을 통해 의사결정자가 불확실성에 대한 싫증을 줄일 수 있도록 설계하는 것을 강조하였다.

실험 결과

연구 질문

• RQ1 응용적 연구 융합에서 연구자가 분석적 의사결정을 내릴 때 '갈림길의 정원' 상황을 어떻게 탐색하는가?
• RQ2 의사결정의 정당화와 실제 결과에 미치는 영향 사이에서 연구자가 겪는 주요 과제는 무엇인가?
• RQ3 의사결정자가 불확실성에 대한 싫증이 연구 융합 결과의 제시 방식과 그 가치 인식에 어떻게 영향을 미치는가?
• RQ4 분석 선택에 대한 불확실성 탐색, 논리 기록, 소통을 지원하는 시스템의 설계 기회가 무엇이 있는가?
• RQ5 연구자가 의사결정의 정당화에서 그 결과에 미치는 영향 평가로 초점을 이동시킬 수 있도록 시스템은 어떻게 설계할 수 있는가?

주요 결과

• 연구자들은 연구 융합 과정 전반에서 평균 480개의 분석적 의사결정을 내리며, 이들의 정당화 방식과 실제 결과에 미치는 영향에 있어 상당한 변동성이 존재한다.
• 연구자들이 의사결정의 이유와 실제 결과에 미치는 영향 사이에 큰 괴리가 존재하며, 이는 정당화에서 영향 평가로 초점을 이동시킬 필요가 있음을 시사한다.
• 의사결정자는 종종 불확실한 결과를 실천 가능성이 없다고 기각하지만, 이는 가치 있는 정보를 담고 있을 수 있음을 시사하며, 불확실성에 대한 싫증을 줄일 수 있는 소통 기법이 필요하다.
• 연구자들은 종종 제한 사항 섹션과 보조 슬라이드 같은 정성적 경고문을 통해 가정과 제약 조건을 전달하지만, 이는 종종 부족하거나 체계적으로 표현되지 않는다.
• 제안된 시스템은 연구자가 여러 분석 경로를 탐색하고, 의사결정의 논리를 문서화하며, 의사결정자가 유용성 함수와 일치하는 방식으로 불확실성을 시각화하는 데 도움을 줄 수 있다.
• 행동 지표(예: 시간 또는 비용 절감)에 불확실성 전파를 통합하면 의사결정자의 불확실한 결과 이해와 활용도를 향상시킬 수 있다.