[논문 리뷰] Pitfalls to Avoid when Interpreting Machine Learning Models

Christoph Molnar, Gunnar König외 7명|arXiv (Cornell University)|2020. 07. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 102인용 수 34

한 줄 요약

이 논문은 기계학습 모델을 해석하는 데 있어 심각한 함정을 규명하며, 예측 일반화 능력 부족, 특성 간 의존성, 상호작용, 부당한 인과적 추론 등의 문제를 다룹니다. 연구자들이 모델의 해석 타당성과 신뢰성을 향상시키기 위해 해결해야 할 열린 과제들을 제시하고 실무자들에게 실행 가능한 지침을 제공합니다.

ABSTRACT

Modern requirements for machine learning (ML) models include both high predictive performance and model interpretability. A growing number of techniques provide model interpretations, but can lead to wrong conclusions if applied incorrectly. We illustrate pitfalls of ML model interpretation such as bad model generalization, dependent features, feature interactions or unjustified causal interpretations. Our paper addresses ML practitioners by raising awareness of pitfalls and pointing out solutions for correct model interpretation, as well as ML researchers by discussing open issues for further research.

연구 동기 및 목표

• 현대 기계학습 모델에서 높은 예측 성능과 해석 가능성의 두 가지 요구 사항을 동시에 충족시킬 필요성에 대응합니다.
• 고도로 발전한 해석 기법이 있음에도 불구하고 잘못된 결론을 이끌어내는 해석 오류의 일반적인 원인을 부각합니다.
• 특성 간 의존성, 상호작용, 인과적 오해와 같은 위험 요소들에 대해 기계학습 실무자들 사이에서 경각심을 일깨웁니다.
• 모델 해석의 방법론적 엄밀함을 향상시키기 위해 향후 연구에서 해결해야 할 미해결 과제들을 규명합니다.

제안 방법

• 실제 사례와 개념적 프레임워크를 활용해 일반적인 해석 함정을 체계적으로 분석합니다.
• 모델이 분포 외 데이터에서 실패하는 사례 연구를 통해 일반화 능력 부족 문제를 설명합니다.
• 상관관계가 있거나 의존적인 특성이 특성 중요도 점수에 어떤 영향을 미치고, 이를 어떻게 잘못 해석할 수 있는지 분석합니다.
• 특성 간 상호작용이 명시적으로 모델링되지 않거나 고려되지 않을 경우 어떻게 잘못된 해석을 초래할 수 있는지 조사합니다.
• 해석 기법을 인과관계를 추론하는 데 오용하는 문제점을 비판하며, 상관관계와 인과관계의 차이를 강조합니다.
• 모델의 행동, 데이터 분포, 특성 간 관계를 바탕으로 정확한 해석을 위한 지침을 제안합니다.

실험 결과

연구 질문

• RQ1 기계학습 모델 출력을 해석하는 데서 발생하는 주요 오류 원인은 무엇인가요?
• RQ2 특성 간 의존성은 기계학습 모델에서 특성 중요도 해석에 어떻게 왜곡을 초래합니까?
• RQ3 모델의 상호작용이 적절히 고려되지 않을 경우 어떤 방식으로 잘못된 해석을 초래할 수 있나요?
• RQ4 왜 모델 해석에서 인과적 결론을 도출하는 것이 종종 타당하지 않은지, 그리고 이를 어떻게 피할 수 있나요?
• RQ5 신뢰할 수 있고 타당한 모델 해석을 확보하기 위해 어떤 방법론적 개선이 필요합니까?

주요 결과

• 모델의 일반화 능력 부족은 훈련 데이터에선 잘 작동하지만 새로운, 본적 데이터에선 실패할 경우 잘못된 해석을 초래할 수 있습니다.
• 의존적이거나 상관관계가 있는 특성들은 특히 순열 기반 방법을 사용할 경우 불안정하고 오해의 소지가 있는 특성 중요도 점수를 초래할 수 있습니다.
• 특성 간 상호작용은 종종 해석 과정에서 간과되며, 이로 인해 단순화되거나 잘못된 모델 설명이 도출될 수 있습니다.
• 해석 기법은 인과관계를 추론하는 데 사용되어서는 안 되며, 이는 상관관계에 기반하고 있고 혼동 변수를 고려하지 않기 때문입니다.
• 정확한 해석을 위해서는 다양한 데이터 분포와 특성 간 관계를 고려한 모델 행동 이해가 필요합니다.
• 데이터 의존성, 상호작용, 분포 이탈을 고려한 개선된 해석 기법이 여전히 필수적입니다.