[논문 리뷰] Scientific Inference With Interpretable Machine Learning: Analyzing Models to Learn About Real-World Phenomena

Timo Freiesleben, Gunnar König외 2명|arXiv (Cornell University)|2022. 06. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 112인용 수 8

한 줄 요약

이 논문은 기계학습 모델의 해석을 실제 세계 현상과 연결함으로써 과학적 추론을 가능하게 하는 해석 가능한 기계학습(Interpretable Machine Learning, IML) 성질 기술자(property descriptors)를 제안한다. 이를 통해 적절히 설계된 IML 방법이 조건부 확률 분포 𝕡(Y∣X)의 측면에 접근하고, 지식적 불확실성(epistemic uncertainty)을 정량화하며, 모델 감시(model audit)와 과학적 추론 사이의 구분을 명확히 할 수 있음을 보여준다. 조건부 부분 의존도 플롯(conditional partial dependence plots, cPDP)을 구체적인 사례로 제시하여 유효한 기술자임을 입증한다.

ABSTRACT

To learn about real world phenomena, scientists have traditionally used models with clearly interpretable elements. However, modern machine learning (ML) models, while powerful predictors, lack this direct elementwise interpretability (e.g. neural network weights). Interpretable machine learning (IML) offers a solution by analyzing models holistically to derive interpretations. Yet, current IML research is focused on auditing ML models rather than leveraging them for scientific inference. Our work bridges this gap, presenting a framework for designing IML methods-termed 'property descriptors' -- that illuminate not just the model, but also the phenomenon it represents. We demonstrate that property descriptors, grounded in statistical learning theory, can effectively reveal relevant properties of the joint probability distribution of the observational data. We identify existing IML methods suited for scientific inference and provide a guide for developing new descriptors with quantified epistemic uncertainty. Our framework empowers scientists to harness ML models for inference, and provides directions for future IML research to support scientific understanding.

연구 동기 및 목표

• 기계학습에서 모델 해석과 실제 세계 과학적 추론 사이의 지식적 간극(epistemic gap)을 해소하기 위해.
• 모델 감시(예: 모델 디버깅)와 과학적 추론(예: 현상 특성 이해) 사이의 구분을 명확히 하기 위해.
• 실제 세계 데이터의 조건부 확률 분포 𝕡(Y∣X)에 대한 통찰을 제공할 수 있도록 IML 방법을 설계하기 위한 프레임워크를 개발하기 위해.
• IML 해석의 지식적 불확실성을 정량화하여 신뢰할 수 있는 과학적 결론을 뒷받침하기 위해.
• 연구자들이 단지 모델에 반영된 내용에 그치지 않고 과학적으로 의미 있는 IML 기술자를 구축하도록 안내하기 위해.

제안 방법

• 현상(phenomenon)을 무작위 변수로 기술되는 실제 세계 과정으로 정의하고, 관측치는 알려지지 않은 결합 분포에서 유래한다고 가정한다.
• 독립적이고 동일한 분포를 따르는 데이터에 훈련된 수학적 구조로 감독 기반 기계학습 모델을 기반으로, 미관측 현상 결과의 일반화된 예측을 수행한다.
• 특히 조건부 분포 𝕡(Y∣X)의 측면에 접근하기 위해 설계된 IML 방법을 'IML 성질 기술자'로 도입한다. 이는 단지 모델 행동을 반영하는 것이 아니라 실제 현상의 특성을 반영한다.
• 3단계 프레임워크 제안: (1) X와 Y에 관한 현상 기반 질문을 설정하고, (2) 기계학습 모델과 유한한 데이터를 사용해 이를 해결하며, (3) 해석의 지식적 불확실성을 정량화한다.
• 조건부 부분 의존도 플롯(cPDP)을 유효한 IML 성질 기술자의 구체적 사례로 사용하여 조건부 기대값에 접근할 수 있음을 보여준다.
• 통계적 의사결정 이론에 기반하여 방법을 정립함으로써, 해석이 단지 모델의 산물이 아니라 통계적으로 의미 있는 결과가 되도록 보장한다.

실험 결과

연구 질문

• RQ1 해석 가능한 기계학습 방법은 어떻게 설계되어야 실제 세계 현상에 대한 통찰을 제공할 수 있으며, 단지 모델 행동에 국한되지 않을 수 있는가?
• RQ2 실제 데이터 생성 과정에 대한 과학적 추론을 지원하기 위해 IML 방법이 충족해야 할 기준은 무엇인가?
• RQ3 IML 해석의 지식적 불확실성을 어떻게 정량화하여 신뢰할 수 있는 과학적 결론을 뒷받침할 수 있는가?
• RQ4 현재의 IML 관행은 어떤 방식으로 모델 감시와 과학적 추론을 혼동하고 있으며, 그 지식적 결과는 무엇인가?
• RQ5 cPDP와 같은 IML 기술자가 적절한 가정 하에 조건부 기대값 𝕡(Y∣X)에 유효하게 접근할 수 있는가?

주요 결과

• 기계학습 모델은 원소별 표현성(elementwise representationality)을 만족하지 않기 때문에, 개별 매개변수를 직접적으로 현상 특성으로 해석할 수 없다.
• 적절히 설계된 IML 성질 기술자—즉, 조건부 확률 분포 𝕡(Y∣X)의 관련 측면에 접근할 수 있으며, 이는 과학적 추론을 가능하게 한다.
• 조건부 부분 의존도 플롯(cPDP)은 배경 기준 조건이 충족될 경우 인과 효과를 식별할 수 있기 때문에 유효한 IML 성질 기술자로 기능한다.
• 통계적 의사결정 이론을 활용해 IML 해석의 지식적 불확실성을 정량화할 수 있으며, 이는 해석의 명확성과 신뢰도를 향상시킨다.
• 현재의 IML 방법들은 종종 모델 감시와 과학적 추론을 혼동하여 실제 세계 현상에 대한 불필요한 주장들을 내놓는다.
• 인과 추론은 연관 모델만으로는 부족하며, 불변 위험 최소화(invariant risk minimization)로 훈련된 간섭에 안정적인 모델과 함께 사용될 경우, 적절한 가정 하에 IML이 인과 효과를 반영할 수 있다.