[논문 리뷰] An Investigation of Interpretability Techniques for Deep Learning in Predictive Process Analytics

Catarina Moreira, Renuka Sindhgatta외 3명|arXiv (Cornell University)|2020. 02. 21.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 암 환자의 실세계 의료 이벤트 로그를 사용한 예측 프로세스 분석에서 딥러닝 및 랜덤 포레스트의 해석 가능성 기법을 조사한다. 딥 네ural 네트워크의 은닉층에서 비선형 표현을 추출하기 위해 오토에인코드를 적용하고, 랜덤 포레스트의 국소 서로서비스 설명을 위해 LIME을 사용함으로써, 두 방법 모두 모델의 해석 가능성 향상을 입증한다 — 임상의가 특징의 영향을 이해하고 암 유형에 특화된 패턴을 식별할 수 있게 하며, LIME은 더 명확한 국소적 통찰을 제공하고 오토에인코드는 암 유형과 관련된 비선형 클러스터를 드러낸다.

ABSTRACT

This paper explores interpretability techniques for two of the most successful learning algorithms in medical decision-making literature: deep neural networks and random forests. We applied these algorithms in a real-world medical dataset containing information about patients with cancer, where we learn models that try to predict the type of cancer of the patient, given their set of medical activity records. We explored different algorithms based on neural network architectures using long short term deep neural networks, and random forests. Since there is a growing need to provide decision-makers understandings about the logic of predictions of black boxes, we also explored different techniques that provide interpretations for these classifiers. In one of the techniques, we intercepted some hidden layers of these neural networks and used autoencoders in order to learn what is the representation of the input in the hidden layers. In another, we investigated an interpretable model locally around the random forest's prediction. Results show learning an interpretable model locally around the model's prediction leads to a higher understanding of why the algorithm is making some decision. Use of local and linear model helps identify the features used in prediction of a specific instance or data point. We see certain distinct features used for predictions that provide useful insights about the type of cancer, along with features that do not generalize well. In addition, the structured deep learning approach using autoencoders provided meaningful prediction insights, which resulted in the identification of nonlinear clusters correspondent to the patients' different types of cancer.

연구 동기 및 목표

• 의료 의사결정에서 사용되는 딥러닝 모델의 해석 가능성에 대한 필수적인 필요성을 해결하기 위해, 높은 정확도만으로는 부족하며 설명 가능성이 동반되어야 한다.
• 딥 네URAL 네트워크의 은닉층에서 의미 있는 비선형 표현을 추출할 수 있는 오토에인코드의 효과를 평가하기 위해, 예측 성능 향상을 위한 통찰을 제공한다.
• 랜덤 포레스트의 개별 예측을 해석하기 위해 LIME이 국소적이고 모델에 종속되지 않는 설명 방법으로서 효과적인지 평가한다.
• 특정 암 유형에 대해 일관되게 예측 가능한 임상적 특징과 일반화되지 않거나 관련성이 없는 특징을 식별한다.
• 결정자들이 블랙박스 모델의 행동을 이해할 수 있도록 설명 가능한 통찰을 제공함으로써, 신뢰도와 임상적 유용성을 향상시킨다.

제안 방법

• 네덜란드 병원의 환자 기록과 암 유형을 포함한 실세계 의료 이벤트 로그 데이터셋에 대해 장기 단기 기억(LSTM) 네트워크와 랜덤 포레스트를 적용하였다.
• 딥 네URAL 네트워크의 은닉층을 가로질러 데이터를 추출하고, 오토에인코드를 사용하여 입력 데이터의 압축된 비선형 표현을 학습함으로써, 암 유형과 대응하는 비선형 클러스터를 발견할 수 있도록 하였다.
• 랜덤 포레스트의 개별 예측 주변에서 국소적 선형 서로서비스 모델을 생성하기 위해 LIME 프레임워크를 사용하여 각 인스턴스의 특징 기여도를 설명하였다.
• 다수의 인스턴스에 걸쳐 국소적 설명을 집계하여 글로벌 설명을 구성하였으며, 특징 중요도와 일반화를 극대화하기 위해 커버리지 함수를 사용하였다.
• 각 인스턴스 주변의 국소 데이터 포인트를 생성하기 위해 편향 기반 샘플링을 사용하였으며, 이를 통해 LIME이 국소 모델 피팅을 통해 특징 중요도를 추정할 수 있도록 하였다.
• 표준 평가 지표(예: 정확도)를 사용하여 모델 성능을 평가하였고, 예측 논리의 이해도 평가를 위해 해석 가능성 지표를 보완적으로 활용하였다.

실험 결과

연구 질문

• RQ1 오토에인코드는 딥 네URAL 네트워크의 은닉층에서 의미 있는 비선형 표현을 효과적으로 추출하여 예측 프로세스 분석의 해석 가능성 향상에 기여할 수 있는가?
• RQ2 LIME을 국소 서로서비스 모델로 사용할 경우, 글로벌 모델 분석에 비해 랜덤 포레스트의 개별 예측에 대해 더 실용적이고 이해하기 쉬운 통찰을 제공하는가?
• RQ3 예를 들어 연령, 치료 유형 또는 특정 의료 활동과 같은 임상적 특징 중 어떤 것이 특정 암 유형에 대해 일관되게 예측 가능한가, 어떤 특징은 일반화되지 않는가?
• RQ4 오토에인코드의 잠재 공간에서의 비선형 클러스터 구조는 의료 이벤트 로그의 알려진 암 아형과 어떻게 대응하는가?
• RQ5 국소적 설명은 모델 정확도에만 의존하는 것보다 의사결정자들이 모델 예측을 이해하는 데 얼마나 기여하는가?

주요 결과

• LIME 기반 국소 서로서비스 모델은 각 환자 인스턴스의 개별 예측에 영향을 주는 특정 특징(예: 연령, 치료 유형)을 명확히 규명함으로써 더 높은 해석 가능성 제공하였다.
• 오토에인코드 기반의 구조적 딥러닝 접근법은 서로 다른 암 유형과 대응하는 명확한 비선형 클러스터를 잠재 공간에서 드러내어 모델 행동과 잠재적인 오분류 원인에 대한 통찰을 제공하였다.
• '의료 상담' 및 '산부인과 클리닉'과 같은 특징은 빈번히 예측에 사용되었지만 환자 간 일반화가 잘 되지 않아 제한된 예측 능력을 보였다.
• 다양한 국소 인스턴스의 집계를 통해 구성된 글로벌 설명은 일부 특징(예: 연령, 치료)이 일관되게 중요하지만, 다른 특징은 일반화되지 않음을 드러내어 특징 선택 및 모델 개선에 기여하였다.
• 오토에인코드와 LIME의 조합은 상호보완적인 해석 가능성을 제공하였다: 오토에인코드는 글로벌 비선형 데이터 구조를 드러내었고, LIME은 개별 결정에 대한 국소적 특징 수준의 설명을 제공하였다.
• 본 연구는 해석 가능성 기법이 높은 예측 성능를 유지하면서도 블랙박스 모델의 신뢰도와 이해도를 크게 향상시킬 수 있음을 입증하였다.