[논문 리뷰] What is Interpretable? Using Machine Learning to Design Interpretable Decision-Support Systems

Owen Lahav, Nicholas Mastronarde외 1명|arXiv (Cornell University)|2018. 11. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 12

한 줄 요약

이 논문은 강화학습(RL) 기반 임상 의사결정 지원 시스템(DSS)을 제안하며, 블랙박스 기계학습 모델에 대한 임상의의 신뢰를 극대화하는 데 효과적인 설명 방식(예: 특성 중요도, 모델 정확도, 환자별 위험 민감도 등)을 학습한다. 주요 발견은 ML 전문가가 어떤 설명 방식이 임상의의 신뢰를 높일지 예측할 수 없다는 것으로, 이는 의료 AI 시스템에서 전문가의 가정과 실제 사용자 신뢰 사이에 심각한 격차가 있음을 드러낸다.

ABSTRACT

Recent efforts in Machine Learning (ML) interpretability have focused on creating methods for explaining black-box ML models. However, these methods rely on the assumption that simple approximations, such as linear models or decision-trees, are inherently human-interpretable, which has not been empirically tested. Additionally, past efforts have focused exclusively on comprehension, neglecting to explore the trust component necessary to convince non-technical experts, such as clinicians, to utilize ML models in practice. In this paper, we posit that reinforcement learning (RL) can be used to learn what is interpretable to different users and, consequently, build their trust in ML models. To validate this idea, we first train a neural network to provide risk assessments for heart failure patients. We then design a RL-based clinical decision-support system (DSS) around the neural network model, which can learn from its interactions with users. We conduct an experiment involving a diverse set of clinicians from multiple institutions in three different countries. Our results demonstrate that ML experts cannot accurately predict which system outputs will maximize clinicians' confidence in the underlying neural network model, and suggest additional findings that have broad implications to the future of research into ML interpretability and the use of ML in medicine.

연구 동기 및 목표

• 해석 가능성 연구에서의 경험적 검증 부족 문제를 해결하기 위해, 어떤 요소가 모델을 해석 가능하게 만드는지에 대한 가정이 최종 사용자 기반으로 검증되지 않는 점을 다루기 위함.
• 비전문가 사용자(예: 임상의)의 신뢰를 효과적으로 증가시키는 설명 유형을 강화학습이 어떻게 활용할 수 있는지 탐구하기 위함.
• 임상의의 실제 신뢰 반응과 ML 전문가가 어떤 설명이 신뢰를 높일 것이라고 예측하는지 비교하기 위함.
• 모델에 대한 정보를 더 제공할수록 항상 신뢰가 증가하는지, 아니면 정보 과잉이 신뢰를 감소시킬 수 있는지 탐색하기 위함.

제안 방법

• 심부전 환자의 1년 생존율을 예측하기 위해 MAGGIC 데이터셋을 기반으로 딥 네ural 네트워크를 학습시켰다.
• 강화학습 기반 DSS를 설계하여 임상의에게 동적으로 설명 모듈과 보조 증거(예: 데이터 소스, 모델 정확도, 특성 민감도 등)의 시퀀스를 제시하였다.
• 다중 손잡이 밴딧 접근법(UCB1)을 사용하여, 임상의의 자가 보고한 신뢰도를 극대화하는 증거 시퀀스를 탐색하고 이용하는 방식으로 RL 에이전트를 최적화하였다.
• 임상의는 DSS와 상호작용하며 각 시퀀스 이후 자신의 신뢰도를 평가하였고, ML 전문가는 어떤 시퀀스가 신뢰를 높일 것이라고 예측하였다.
• 일반적인 모델 증거(예: 훈련 데이터, 모델 성능)와 환자별 특수 사례(예: 특성 민감도, 결과 예측)를 모두 평가하였다.
• 신뢰도 점수는 [0,1] 범위로 정규화되었으며, 임상의의 반응과 ML 전문가의 기대 간 통계적 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 강화학습이 블랙박스 기계학습 모델에 대한 임상의의 신뢰를 극대화하는 데 효과적으로 어떤 설명 모듈 조합과 보조 증거 조합을 식별할 수 있는가?
• RQ2 ML 전문가가 임상의의 모델에 대한 신뢰를 높일 만한 설명을 얼마나 정확하게 예측할 수 있는가?
• RQ3 모델에 대한 정보(예: 데이터, 방법론, 정확도)를 더 제공할수록 항상 사용자 신뢰가 증가하는가, 아니면 정보 과잉이 신뢰를 감소시킬 수 있는가?
• RQ4 특성 민감도, 결과 예측, 모델 성능 지표 등의 다양한 유형의 증거가 임상의가 모델에 대해 느끼는 신뢰도에 어떤 영향을 미치는가?

주요 결과

• ML 전문가는 항상 임상의의 신뢰를 극대화하는 증거 시퀀스를 잘못 예측하였으며, 특히 모델 방법론과 특성 민감도의 영향에 대한 기대가 크게 다름을 확인하였다.
• 임상의는 특성 민감도(예: 환자 특성의 변화가 위험에 어떤 영향을 미치는지)에 대한 상호작용이 가능한 시퀀스에서 더 높은 신뢰도를 보였지만, ML 전문가는 반대로 예측하였다.
• 파트 1에서 가장 긴 증거 시퀀스(H)는 짧은 시퀀스보다 평균적으로 낮은 신뢰도를 기록하여, 정보 과잉이 증가한 정보에도 불구하고 신뢰를 감소시킬 수 있음을 시사하였다.
• 환자별 위험 민감도와 결과 예측을 포함한 시퀀스는 신뢰도에 미미한 영향을 미쳤으며, 이는 임상의가 정적 결과 보고보다는 상호작용 가능한 이해를 우선시한다는 점을 시사한다.
• RL에 의해 이끌리는 DSS 설계는 ML 전문가가 예측할 수 없었던 고신뢰도 증거 시퀀스를 성공적으로 식별하였으며, 사용자 중심의 학습의 가치를 입증하였다.
• 결과는 간단한 모델이나 표준 해석 가능성 모듈(LIME, 의사결정나무 등)이 본질적으로 해석 가능하다는 가정을 도전하며, 해석 가능성의 주관성과 맥락 의존성을 강조한다.