[논문 리뷰] Interpretable Models Capable of Handling Systematic Missingness in Imbalanced Classes and Heterogeneous Datasets

Sreejita Ghosh, Elizabeth S. Baranowski외 4명|arXiv (Cornell University)|2022. 06. 04.

Machine Learning in Healthcare인용 수 6

한 줄 요약

이 논문은 체계적인 결측치, 클래스 불균형, 이질적 데이터를 포함한 의료 데이터셋에서 작동하는 해석 가능한 프로토타입 기반(PB) 모델의 가족을 소개한다. 적응형 거리 측도와 기하학적 평균화 전략을 활용하여 앙상블 성능를 담보하면서도 내재된 해석 가능성은 유지함으로써, Random Forest와 같은 최신 기법들과 비교해 유사하거나 뛰어난 정확도를 달성한다. 이는 투명성과 지식 추출 능력 향상에도 기여한다.

ABSTRACT

Application of interpretable machine learning techniques on medical datasets facilitate early and fast diagnoses, along with getting deeper insight into the data. Furthermore, the transparency of these models increase trust among application domain experts. Medical datasets face common issues such as heterogeneous measurements, imbalanced classes with limited sample size, and missing data, which hinder the straightforward application of machine learning techniques. In this paper we present a family of prototype-based (PB) interpretable models which are capable of handling these issues. The models introduced in this contribution show comparable or superior performance to alternative techniques applicable in such situations. However, unlike ensemble based models, which have to compromise on easy interpretation, the PB models here do not. Moreover we propose a strategy of harnessing the power of ensembles while maintaining the intrinsic interpretability of the PB models, by averaging the model parameter manifolds. All the models were evaluated on a synthetic (publicly available dataset) in addition to detailed analyses of two real-world medical datasets (one publicly available). Results indicated that the models and strategies we introduced addressed the challenges of real-world medical data, while remaining computationally inexpensive and transparent, as well as similar or superior in performance compared to their alternatives.

연구 동기 및 목표

• 체계적인 결측치, 클래스 불균형, 이질적 측정치를 특징으로 하는 실제 의료 데이터셋에 해석 가능한 기계학습을 적용하는 데 도전하는 것.
• 정확도와 설명 가능성 간의 상충 관계가 앙상블 방법에서 흔한 것을 방지하면서도, 투명성을 유지하면서 고성능을 달성하는 내재적 해석 가능한 모델을 개발하는 것.
• 모델 매개변수 다양체의 기하학적 평균화를 통해 앙상블의 능력을 활용하는 새로운 전략을 도입하는 것.
• 합성 및 두 개의 실제 의료 데이터셋(유전성 스테로이드 합성 장애 포함)에서 이 프레임워크의 효과성을 입증하는 것.
• 임상적 해석과 지식 발견을 위해 특징 기여도와 결정 경계에 대한 세부적이고 데이터 기반의 통찰을 제공하는 것.

제안 방법

• 이질적이고 결측치가 있는 데이터를 다룰 수 있도록 적응형 거리 측도(코사인 기반 및 매개변수화된 유클리드 거리 포함)를 사용하는 학습 벡터 양자화(LVQ) 기반의 프로토타입 기반(PB) 학습 프레임워크를 제안한다.
• 확률적 출력을 허용하고 날것의 레이블과 불확실한 레이블 양쪽 모두로 훈련이 가능한 $LVQ^{A}$ 변종을 도입하여 분류의 불확실성을 반영한다.
• 다수의 LVQ 모델의 매개변수 다양체에 대해 기하학적 평균화를 적용하여 단일의 대표 모델을 생성함으로써, 앙상블 성능를 모방하면서도 해석 가능성은 유지한다.
• 모델 훈련 중 다수의 국소 최적값을 관리하기 위해 클러스터링 전략을 적용하여 안정성과 강건성을 향상시킨다.
• 고차원 데이터와 결정 경계를 시각화하기 위해 Mollweide 투영을 활용하여 특징 영향력과 클래스 간 분리 정도를 직접적으로 해석할 수 있도록 한다.
• 다중 보정 기반 접근법과 LIME, SHAP와 같은 최신 모델 무관 기법들과의 성능 비교를 통해 체계적인 결측치 존재 시 우수한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 프로토타입 기반 모델은 체계적인 결측치와 이질적 측정치를 포함한 의료 데이터셋에서 높은 해석 가능성과 성능를 유지하면서 처리할 수 있는가?
• RQ2 결측치 및 이질적 데이터 존재 시, 표준 유클리드 거리에 비해 적응형 거리 측도(예: 코사인 기반)의 성능는 어떻게 비교되는가?
• RQ3 LVQ 모델의 기하학적 평균화가 해석 가능성 손실 없이 기존의 Random Forest와 같은 전통적 앙상블의 성능를 어느 정도 재현할 수 있는가?
• RQ4 제안된 프레임워크는 예를 들어 스테로이드 합성 유전성 장애와 같은 실제 의료 데이터에서 임상적으로 의미 있는 통찰을 추출할 수 있는가?
• RQ5 불확실한 레이블과 확률적 출력의 포함이 저표본, 불균형 설정에서 모델의 투명성과 신뢰도를 어떻게 향상시키는가?

주요 결과

• 특히 코사인 기반 거리 측도를 사용하는 $LVQ^{A}$ 모델은 체계적인 결측치와 이질적 측정치 존재 시 표준 유클리드 거리 기반 LVQ보다 뛰어난 성능를 보였다.
• 보정 없이 코사인 기반 LVQ는 거리 기반 분류에 악영향을 줄 수 있는 다중 보정 기법들과 비교해 유사하거나 뛰어난 성능를 달성했다.
• 기하학적 평균화를 적용한 LVQ 모델은 100개의 트리를 가진 Random Forest와 유사하거나 뛰어난 성능를 보였으며, 해석 가능성은 그대로 유지하면서 직접적인 지식 추출이 가능했다.
• 스테로이드 합성 장애 데이터셋에서, 이 프레임워크는 32개의 요오드 배설물 생물표지자 496개의 쌍방향 비율을 포괄적으로 분석하여 질병 특이적 대사 패atters를 규명했다.
• 모델들은 샘플별, 클래스별, 전체 데이터셋 전체에 걸쳐 특징 기여도에 대한 직접적이고 시각화 가능한 통찰을 제공하여 임상적 해석에 기여했다.
• 공개된 실제 데이터셋에서 경쟁력 있는 성능를 보였으며, 재현 가능성이 높고 지식 추출을 위한 명확한 경로를 제공했다.