[논문 리뷰] The Challenge of Imputation in Explainable Artificial Intelligence Models

Muhammad Aurangzeb Ahmad, Carly Eckert외 1명|arXiv (Cornell University)|2019. 07. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 7

한 줄 요약

이 논문은 고위험 분야인 의료 분야에서 설명 가능성 있는 인공지능(XAI) 모델에 누락 데이터를 보정하는 것의 위험성을 조사한다. 특히 보정된 값이 잘못된 대체 가정을 유도하여 모델의 정확성과 안전성을 해칠 수 있는 모순적 설명을 생성할 수 있음을 밝힌다. 이는 보정이 편향을 유발하고 설명의 신뢰성을 떨어뜨린다고 주장하며, 투명한 경고, 도메인 인지 기반 보정, 필요에 따라 설명 가능성보다 모델 보증을 우선시하는 전략을 제안한다.

ABSTRACT

Explainable models in Artificial Intelligence are often employed to ensure transparency and accountability of AI systems. The fidelity of the explanations are dependent upon the algorithms used as well as on the fidelity of the data. Many real world datasets have missing values that can greatly influence explanation fidelity. The standard way to deal with such scenarios is imputation. This can, however, lead to situations where the imputed values may correspond to a setting which refer to counterfactuals. Acting on explanations from AI models with imputed values may lead to unsafe outcomes. In this paper, we explore different settings where AI models with imputation can be problematic and describe ways to address such scenarios.

연구 동기 및 목표

• 기계학습 데이터셋에서의 보정이 고위험 분야의 모델 설명의 정확성과 안전성에 어떻게 악영향을 미치는지 규명하는 것.
• 보정된 값이 임상의 등 사용자에게 오해의 소지가 있는 대체가정 또는 비현실적인 설명을 생성하는 상황을 분석하는 것, 특히 임상의의 경우에 중점적으로 고려한다.
• MCAR, MAR, NMAR 등의 누락 데이터 메커니즘이 XAI 시스템에서 설명의 신뢰성과 공정성에 어떤 영향을 미치는지 평가하는 것.
• 보정을 다루기 위한 운영 전략을 평가하는 것, 예를 들어 경고 문구, 사용자 교육, 위험 기반 설계 선택 등.
• 특히 보정이 편향이나 잘못된 가정을 유도할 경우 모델 설명 가능성보다 모델 안정성과 안전성이 우선되어야 한다는 점을 강조하는 것.

제안 방법

• 76,000명의 환자에서 수집한 실제 의료 데이터를 활용하여 모델 설명에 대한 보정 효과를 시뮬레이션한다.
• XGBoost와 같은 블랙박스 모델을 보정된 데이터로 학습한 후, LIME 및 셰플리 값 같은 사후 설명 방법을 적용하여 설명을 해석한다.
• 누락 데이터 메커니즘(MCAR, MAR, NMAR)을 분류하고, 설명 품질과 편향에 미치는 영향을 평가한다.
• 누락된 값을 처리하기 위해 다중 보정 기반 연쇄 방식(MICE)과 3D-MICE를 활용하며, 설명의 정확성에 미치는 영향을 분석한다.
• 트리 기반 모델(예: XGBoost)에서의 기본 설정 보정 방식이 누락된 값을 학습된 방향으로 간주함으로써 설명의 왜곡 가능성을 분석한다.
• 경고 문구, 사용자 교육, 설명 가능성보다 모델 보증을 우선시하는 위험 기반 프레임워크를 포함한 운영 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 학습 데이터에서 누락된 값을 보정하는 것이 XAI에서 모델 설명의 정확성과 이해 가능성에 어떤 영향을 미치는가?
• RQ2 보정된 값이 의료 AI 시스템에서 어떤 방식으로 대체가정 또는 임상적으로 비현실적인 설명을 유도할 수 있는가?
• RQ3 다른 누락 데이터 메커니즘(MCAR, MAR, NMAR)이 XAI 설명의 신뢰성과 공정성에 어떤 영향을 미치는가?
• RQ4 고위험 분야인 의료 및 형사 사법 분야에서 보정된 데이터로부터 유도된 설명에 의존할 경우 발생할 수 있는 안전성 및 윤리적 위험은 무엇인가?
• RQ5 조직은 보정이 존재하는 상황에서 어떻게 XAI 설명을 운영하여 신뢰를 유지하고 유해한 결정을 방지할 수 있는가?

주요 결과

• 모델 설명에서 보정된 값은 실제로 수행되지 않은 검사나 임상적 요소를 언급함으로써 잘못된 또는 비현실적인 해석을 초래할 수 있다.
• 보정된 데이터에 기반한 설명은 실제 환자 병력과 충돌할 수 있으며, 이는 임상의가 AI 시스템에 대한 신뢰를 상실하게 만들 수 있다.
• 비무시적 누락 데이터(NMAR) 설정에서의 보정은 심각한 편향을 유발한다. 보정된 값이 실제 세계 조건을 반영하지 못할 수 있으며, 이는 설명의 정확성을 저하시킨다.
• XGBoost와 같은 트리 기반 모델은 누락된 값을 학습된 기본 방향으로 처리하지만, 테스트 데이터의 누락 패턴이 학습 데이터와 다를 경우 성능과 설명 품질이 떨어질 수 있다.
• 보정은 보호 그룹(예: 인종, 성별)에 대해 편향을 유발하거나 악화시킬 수 있으며, 이는 XAI 시스템의 공정성에 악영향을 미친다.
• 이 논문은 보정이 높은 위험을 유발할 경우 모델 보증과 안전성이 설명 가능성보다 우선되어야 하며, 자동화 편향을 완화하기 위해 경고 문구와 사용자 교육을 권장한다.