[논문 리뷰] Sibyl: Understanding and Addressing the Usability Challenges of Machine Learning In High-Stakes Decision Making

Alexandra Zytek, Dongyu Liu외 2명|arXiv (Cornell University)|2021. 03. 02.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 고위험 아동 복지 결정 과정에서 기계 학습의 사용성을 향상시키기 위해 지역적 요인 기여도를 해석 가능하고 상호작용 가능한 방식으로 제공하는 시각적 분석 도구인 Sibyl을 소개한다. 도메인 전문가들과의 반복적 설계 및 두 차례의 공식 사용자 연구를 통해 Sibyl은 신뢰, 인간-기계 학습 간 불일치, 윤리적 우려와 같은 핵심 사용성 과제를 효과적으로 완화하며, 결정 투명도와 사용자 자신감을 향상시키는 직관적이고 사례 기반 설명을 제공한다.

ABSTRACT

Machine learning (ML) is being applied to a diverse and ever-growing set of domains. In many cases, domain experts - who often have no expertise in ML or data science - are asked to use ML predictions to make high-stakes decisions. Multiple ML usability challenges can appear as result, such as lack of user trust in the model, inability to reconcile human-ML disagreement, and ethical concerns about oversimplification of complex problems to a single algorithm output. In this paper, we investigate the ML usability challenges that present in the domain of child welfare screening through a series of collaborations with child welfare screeners. Following the iterative design process between the ML scientists, visualization researchers, and domain experts (child screeners), we first identified four key ML challenges and honed in on one promising explainable ML technique to address them (local factor contributions). Then we implemented and evaluated our visual analytics tool, Sibyl, to increase the interpretability and interactivity of local factor contributions. The effectiveness of our tool is demonstrated by two formal user studies with 12 non-expert participants and 13 expert participants respectively. Valuable feedback was collected, from which we composed a list of design implications as a useful guideline for researchers who aim to develop an interpretable and interactive visualization tool for ML prediction models deployed for child welfare screeners and other similar domain experts.

연구 동기 및 목표

• 비전문가 도메인 전문가들이 고위험 결정에 기계 학습 모델을 사용할 때 겪는 사용성 과제를 특정하고 해결하는 것.
• 특히 지역적 요인 기여도를 포함한 설명 가능한 인공지능(XAI) 기법이 질적 결정 과정 분야에서 해석 가능성과 사용성 향상에 어떻게 기여할 수 있는지 조사하는 것.
• 아동 복지 스크리닝 담당자들과 협업하여 투명하고 책임감 있으며 윤리적으로 타당한 결정 과정을 지원하는 시각적 분석 도구를 공동 설계하는 것.
• 비전문가 및 전문가 참가자를 대상으로 한 공식 사용자 연구를 통해 도구의 효과성을 평가하는 것.
• 비기술적 고위험 분야에 적합한 미래의 XAI 도구 개발을 위한 실천 가능한 설계 함의를 도출하는 것.

제안 방법

• 기계 학습과 해석 가능성에 관한 55篇의 논문을 종합적으로 검토하여 인간-기계 학습 상호작용에서 반복적으로 나타나는 사용성 과제를 특정하는 데 사용하였다.
• 아동 복지 스크리너, 기계 학습 과학자, 시각화 연구자들과의 반복적 협업을 통해 Sibyl을 공동 설계하였으며, 핵심 설명 기법으로 지역적 요인 기여도를 중점적으로 다루었다.
• 사례 기반 특성 기여도, 유사 사례, 반사적 추론을 표시하는 시각적 분석 플랫폼으로 Sibyl을 구현하여 의사결정 지원 기능을 제공하였다.
• 인지 편향을 고려한 인터페이스 설계를 수행하였으며, 특히 가용성 편향을 줄이기 위해 요인 기여도의 정렬 순서를 고려하였다.
• 두 차례의 공식 사용자 연구를 실시하였으며, 합성 데이터를 사용하여 비전문가 참가자 12명과 전문가 참가자 13명을 대상으로 사용성과 실용성의 정도를 평가하였다.
• qualitative 피드백과 자신감 평가 점수를 수집하여 다양한 설명 유형이 사용자 신뢰도와 의사결정 명확도에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 비전문가 도메인 전문가들이 고위험이고 질적인 의사결정 환경에서 기계 학습 모델을 사용할 때 겪는 주요 사용성 과제는 무엇인가?
• RQ2 어떻게 지역적 요인 기여도를 시각화하여 아동 복지 스크리닝에서 인간의 의사결정을 효과적으로 지원할 수 있는가?
• RQ3 상호작용 가능한 시각적 설명은 사용자 신뢰도를 얼마나 향상시키며, 인간-기계 학습 간 불일치를 줄이고, 인식된 책임감을 강화하는가?
• RQ4 대표성 편향, 인과관계 vs. 상관관계, 가용성 편향과 같은 인지 편향은 사용자가 기계 학습 설명을 어떻게 해석하는지에 어떤 영향을 미치는가?
• RQ5 사용자 피드백에서 도출된 설계 원칙은 비기술적 고위험 분야에 적합한 미래의 XAI 도구 개발을 어떻게 안내할 수 있는가?

주요 결과

• 사용자들은 모델의 내부 메커니즘을 이해하는 데 낮은 관심을 보였으며, 유일하게 모델 내부에 호기심을 보인 스크리너 한 명을 제외하고는 모두 중요도를 높이지 않았다. 이는 투명성보다 사례 기반의 실용적 통찰이 더 중요하다는 것을 시사한다.
• 지역적 요인 기여도 설명 방식이 인간-기계 학습 간 불일치를 조율하고 신뢰를 구축하는 데 가장 유용한 도구로 평가되었으며, 전역 설명 및 성능 지표보다 뛰어난 성능을 보였다.
• 요인 기여도를 내림차순(양의 기여도 먼저)으로 정렬할 경우, 오름차순 정렬(음의 기여도 먼저)에 비해 가용성 편향의 위험을 줄였다. 오름차순 정렬은 부정적 요인을 먼저 강조하여 해석을 왜곡시켰다.
• 사용자들은 반사적 설명을 인과관계로 오해할 가능성이 높았으며, 이는 상관관계를 인과관계로 오해하는 오류를 강화할 위험이 있음을 보여준다.
• 유사 사례 기능은 사례 유사성에 기반한 의사결정을 유도함으로써 대표성 편향을 유발할 위험이 있었다.
• 합성 데이터를 사용했음에도 불구하고 참가자들은 Sibyl의 실용성에 대해 높은 평가를 내렸으며, 특히 복잡하고 윤리적으로 민감한 상황에서 예측 요인을 이해하고 결정을 정당화하는 데에 유용하다고 평가했다.