[논문 리뷰] Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty

Umang Bhatt, Javier Antorán외 13명|arXiv (Cornell University)|2020. 11. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 196인용 수 26

한 줄 요약

이 논문은 기계학습에서 알고리즘 투명성의 중요한 보완 형태로 불확실성 추정을 제안하며, 불확실성 측정, 공유 및 활용이 공정성, 의사결정 및 신뢰도를 향상시킨다고 주장한다. 이는 악성 불확실성과 경험적 불확실성을 정량화하는 방법을 제시하고, 시각화 및 기계학습 파이프라인에의 통합을 주장하며, 헬스케어 및 팬데믹 예측과 같은 실제 적용 사례에서의 가치를 입증한다.

ABSTRACT

Algorithmic transparency entails exposing system properties to various stakeholders for purposes that include understanding, improving, and contesting predictions. Until now, most research into algorithmic transparency has predominantly focused on explainability. Explainability attempts to provide reasons for a machine learning model's behavior to stakeholders. However, understanding a model's specific behavior alone might not be enough for stakeholders to gauge whether the model is wrong or lacks sufficient knowledge to solve the task at hand. In this paper, we argue for considering a complementary form of transparency by estimating and communicating the uncertainty associated with model predictions. First, we discuss methods for assessing uncertainty. Then, we characterize how uncertainty can be used to mitigate model unfairness, augment decision-making, and build trustworthy systems. Finally, we outline methods for displaying uncertainty to stakeholders and recommend how to collect information required for incorporating uncertainty into existing ML pipelines. This work constitutes an interdisciplinary review drawn from literature spanning machine learning, visualization/HCI, design, decision-making, and fairness. We aim to encourage researchers and practitioners to measure, communicate, and use uncertainty as a form of transparency.

연구 동기 및 목표

• 신뢰할 수 있는 AI를 확보하기 위해 설명 가능성만으로는 부족한 점을 보완하기 위해 불확실성 추정을 보완적 투명성 메커니즘으로 도입하는 것.
• 특히 훈련 데이터에서 소외된 집단이 포함되지 않은 경우 불확실성이 기계학습 모델의 공정성 완화에 어떻게 기여할 수 있는지 규명하는 것.
• 의료진, 환자, 정책 입안자와 같은 다양한 이해관계자에게 불확실성을 효과적으로 전달하기 위한 실용적 방법을 개발하는 것.
• 다양 분야의 기존 기계학습 파이프라인에 불확실성 정량화를 통합하기 위한 프레임워크를 제공하는 것.
• 의료 및 팬데믹 예측과 같은 고위험 분야에서 불확실성 전달의 실제 영향을 입증하는 것.

제안 방법

• 모델 설계 및 해석을 안내하기 위해 불확실성을 악성 불확실성(본질적 데이터 노이즈)과 경험적 불확실성(훈련 데이터 부족)으로 분류한다.
• 예측의 정량적 표현을 위해 회귀의 경우 신뢰구간(예: 95% CI)과 분류의 경우 예측 확률을 사용한다.
• 특히 데이터가 부족한 민감한 집단에서 공정성을 향상시키기 위해 분포로_ROBUST 최적화 및 활성 학습을 적용한다.
• 고불확실성 예측을 인간 전문가에게 위임하거나 불균형을 줄이기 위해 예측을 재가중하는 후처리 기법을 구현한다.
• 공공 및 임상용으로 사용 가능한 예측 밴드(예: 평균 추정치 포함)와 같은 불확실성 시각화 기법을 설계하며, CDC 코로나19 예측에서 이를 구현하였다.
• 특징 분포 비교 및 校정 지표를 사용하여 신뢰성 확보를 위해 불확실성 추정을 모델 평가에 통합한다.

실험 결과

연구 질문

• RQ1 불확실성 추정이 기계학습에서 모델 설명 가능성과는 다른 방식으로 투명성의 형태로 작용할 수 있는가?
• RQ2 불확실성이 훈련 데이터에서 소외된 집단이 포함된 경우 기계학습 모델의 공정성 향상에 어떻게 기여할 수 있는가?
• RQ3 의사, 환자, 공중보건 관료와 같은 다양한 이해관계자에게 불확실성을 효과적으로 시각화하고 전달할 수 있는가?
• RQ4 기존 기계학습 파이프라인에 불확실성 정량화를 통합하는 데 있어 실질적 과제와 해결책은 무엇인가?
• RQ5 의료 및 팬데믹 대응과 같은 고위험 분야에서 불확실성 전달이 의사결정 및 신뢰도에 어떤 영향을 미치는가?

주요 결과

• 적절하게 校정된 불확실성 추정은 모델이 충분한 지식을 확보하지 못했을 때를 식별함으로써, 특히 소외된 집단에서 더 나은 신뢰도와 의사결정을 가능하게 한다.
• 불확실성 기반의 인간 전문가 위임은 캘리브레이션과 동일한 오차 지표 간 상호 배제되는 상황에서의 공정성 지표 간 갈등을 해결할 수 있다.
• CDC의 코로나19 예측에서 예측 밴드(예: 95% 신뢰구간)를 활용한 불확실성 시각화는 공중 및 정책 결정에 영향을 미치기 위해 필수적이었다.
• 불확실성 기반 후처리 기법은 민감한 속성이 누락되거나 잘 표현되지 않은 경우 모델 출력의 편향을 줄이는 데 효과적일 수 있다.
• 불확실성 전달은 공중보건 분야에서 행동 및 자원 배분에 직접적인 영향을 미치는 예측이므로 투명성과 신뢰도를 크게 향상시킨다.
• 불확실성 추정이 의미 있고 편향이 없도록 보장하기 위해 분포 분석 및 모델 校정이 필수적이다. 특히 공정성 완화에 사용될 경우 더욱 그러하다.