[논문 리뷰] Granger-causal Attentive Mixtures of Experts.

Patrick Schwab, Walter Karlen|arXiv (Cornell University)|2018. 02. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 5

한 줄 요약

이 논문은 예측 정확도와 측정 가능한 특성 중요도를 함께 최적화하는 신경망 아키텍처인 Granger-causal Attentive Mixtures of Experts(AME)를 제안한다. Granger-causal 목적함수를 사용함으로써, AME는 해석 가능하고 비교 가능하며 신뢰할 수 있는 의사결정 간 설명을 가능하게 하며, 처방약 수요, 파킨슨병, 암 유전체학과 같은 의료 예측 과제에서 이를 입증한다.

ABSTRACT

Several methods have recently been proposed to detect salient input features for outputs of neural networks. Those methods offer a qualitative glimpse at feature importance, but they fall short of providing quantifiable attributions that can be compared across decisions and measures of the expected quality of their explanations. To address these shortcomings, we present an attentive mixture of experts (AME) that couples attentive gating with a Granger-causal objective to jointly produce accurate predictions as well as measures of feature importance. We demonstrate the utility of AMEs by determining factors driving demand for medical prescriptions, comparing predictive features for Parkinson's disease and pinpointing discriminatory genes across cancer types.

연구 동기 및 목표

• 기존 신경망 해석 방법에서 측정 가능한 비교 가능한 특성 중요도 측정 방법의 부족을 해결하기 위해.
• 정확한 예측과 함께 신뢰할 수 있고 해석 가능한 특성 기여도를 생성하는 통합 프레임워크를 개발하기 위해.
• 주의 기반 믹스처 오브 전문가 아키텍처에 Granger-causal 목적함수를 통합하여 입력 특성의 인과적 해석을 가능하게 하기 위해.
• 측정 가능한 품질을 갖춘 기능 중요도의 교차 의사결정 비교를 지원하는 방법을 제공하기 위해.

제안 방법

• 모델은 입력의 관련성에 따라 입력을 특화된 전문가 네트워크로 동적으로 라우팅하는 주의 기반 게이팅 메커니즘을 사용한다.
• 선택된 특성이 출력 변화 이전에 시간적으로 앞서야 하며 이를 예측할 수 있도록 훈련 과정에 Granger-causal 목적함수가 통합된다. 이를 통해 인과 기여도가 가능해진다.
• 믹스처 오브 전문가 아키텍처는 각 예측에서 다른 입력 특성에 대해 다르게 가중치를 적용할 수 있게 하여 해석 가능성과 강화된다.
• 주의 가중치는 예측 정확도 외에도 인과적 관련성 최적화를 통해 중요한 특성이 일관되게 식별되도록 보장된다.
• 예측 손실과 Granger-causal 정규화를 조합한 공동 손실을 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 결과적으로 생성된 주의 가중치는 다양한 예측 간에 측정 가능한 비교 가능한 특성 중요도 측정치로 기능한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처가 예측 정확도와 인과적 해석 가능성을 갖춘 측정 가능한 특성 중요도를 동시에 최적화할 수 있는가?
• RQ2 AME 모델의 주의 가중치는 기존의 샐리언시 방법에 비해 신뢰성과 해석 가능성 측면에서 어떻게 비교되는가?
• RQ3 Granger-causal 목적함수는 의료 예측 과제에서 특성 기여도의 품질을 어느 정도 향상시킬 수 있는가?
• RQ4 기여도가 부여된 특성들이 파킨슨병과 암 유전체학에서 알려진 생물학적 및 임상적 요소와 얼마나 일치하는가?
• RQ5 모델의 특성 중요도 점수는 서로 다른 예측과 의사결정 간에 의미 있게 비교 가능한가?

주요 결과

• AME 모델은 정확한 예측을 성공적으로 수행하면서도 의사결정 간에 측정 가능한 비교 가능한 특성 중요도 점수를 생성한다.
• Granger-causal 목적함수는 시간적으로 앞서고 예측 가능한 특성을 효과적으로 식별하여 기여도의 신뢰성을 향상시킨다.
• 처방약 수요 예측 과제에서 모델은 환자 병력과 약물 종류와 같은 임상적으로 관련된 요소를 높은 기여도 신뢰도로 식별했다.
• 파킨슨병의 경우, 모델은 알려진 생물학적 마커와 진행 패턴과 일치하는 특성을 강조했다.
• 암 유전체학에서는 다양한 암 유형 간의 차별화 유전자들을 정밀하게 특정하여 알려진 종양학 마커와 일치시켰다.
• 주의 가중치는 비교 가능성과 신뢰성 측면에서 정성적 샐리언시 방법보다 뛰어난 안정적이고 해석 가능한 특성 중요도 측정치를 제공했다.