[논문 리뷰] Toward Explainable AI for Regression Models

Simon Letzgus, Patrick Wagner외 4명|arXiv (Cornell University)|2021. 12. 21.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 회귀 모델에서 설명 가능한 인공지능(XAI)을 위한 이론적으로 탄탄한 프레임워크를 제안하며, 분류와는 달리 아직 충분히 다루어지지 않은 회귀 모델에 대한 XAI의 핵심적 격차를 메우고자 한다. LRP, 통합 기울기, 셰플리 값과 같은 기법들을 기준값 인식 기반 접근법으로 변형하여, 재학습 없이도 맥락에 맞는 기준값을 통합할 수 있는 경량 재구성 기법을 도입함으로써, 예측의 물리적 또는 금전적 단위를 그대로 유지하는 충실도 높고 단위 일관성이 확보된 설명을 가능하게 한다. 이는 연령 예측 및 분자의 에너지 예측 작업에서 검증되었다.

ABSTRACT

In addition to the impressive predictive power of machine learning (ML) models, more recently, explanation methods have emerged that enable an interpretation of complex non-linear learning models such as deep neural networks. Gaining a better understanding is especially important e.g. for safety-critical ML applications or medical diagnostics etc. While such Explainable AI (XAI) techniques have reached significant popularity for classifiers, so far little attention has been devoted to XAI for regression models (XAIR). In this review, we clarify the fundamental conceptual differences of XAI for regression and classification tasks, establish novel theoretical insights and analysis for XAIR, provide demonstrations of XAIR on genuine practical regression problems, and finally discuss the challenges remaining for the field.

연구 동기 및 목표

• 분류 대비 아직 충분히 다루어지지 않은 회귀 작업에 특화된 이론적으로 탄탄한 XAI 방법의 부족을 해결한다.
• 분류와 회귀의 XAI 간 근본적인 개념적 차이를 규명하며, 특히 회귀에서는 클래스 경계가 없고 맥락에 따라 달라지는 기준값이 필요하다는 점을 밝힌다.
• 예측과 동일한 단위에서 의미 있고 局소화되고 해석 가능한 설명을 보장하는 기준값 인식 설명 프레임워크를 개발하고 검증한다.
• 신호 처리 및 분자의 물리학 분야의 실제 회귀 문제에 대해 제안된 방법의 실용적 유용성을 입증한다.
• 재현 가능성과 향후 회귀 모델을 위한 XAI 연구를 지원하기 위해 커뮤니티 자원(xai-regression.org)과 오픈소스 코드베이스를 구축한다.

제안 방법

• 사용자가 정의한 기준값을 통합하여, 보존 기반 설명 기법—예를 들어 레이어별 중요도 전파(LRP), 통합 기울기, 셰플리 값—을 회귀에 적합하게 변형한다.
• 모델의 계산 그래프를 수정함으로써 기준값을 통합하는 경량 재구성 기법을 도입하며, 재학습이나 다중 순전파 없이도 기능한다.
• 예측의 측정 단위(예: 에너지, 금전 단위)를 설명 과정 全 과정에서 유지함으로써 설명의 충실도를 확보한다.
• 딥 러닝 모델, 특히 얼굴 연령 예측을 위한 대규모 CNN과 원자 구조 시뮬레이션에서 유도된 분자의 에너지 예측 모델에 프레임워크를 적용한다.
• 셰플리 값 기반 기준 설명과의 비교를 통해 설명의 충실도를 검증하며, 강한 경험적 일치를 보여준다.
• 벤치마크 실험과 실제 사례 연구를 병행하여 다양한 회귀 환경에서의 성능과 설명 가능성에 대한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 기존 XAI 기법들은 어떻게 이론적으로 탄탄하고 맥락적으로 의미 있는 방식으로 회귀 작업에 적합하게 변형될 수 있는가?
• RQ2 기준값의 선택이 회귀 모델 설명의 해석 가능성과 관련성에 미치는 역할은 무엇인가?
• RQ3 경량 재구성 접근법은 재학습이나 반복적 추론 없이도 정확하고 단위 일관성이 확보된 설명을 가능하게 할 수 있는가?
• RQ4 기준값 인식 설명은 연령 예측 및 분자의 에너지 추정과 같은 실제 응용 분야에서 설명 가능성에 어떻게 기여하는가?
• RQ5 분류와 회귀 간 설명 설계의 핵심적 차이는 무엇이며, 왜 분류 기반 XAI를 그대로 회귀에 적용할 수 없는가?

주요 결과

• 제안된 기준값 인식 프레임워크는 예측과 동일한 물리적 또는 금전적 단위에서 충실도 높고 해석 가능한 설명을 가능하게 하며, 이는 설명의 의미를 보장한다.
• 경량 재구성 기법은 재학습이나 다중 평가 없이도 기준값을 효과적으로 통합하여 계산 효율성을 유지한다.
• 경험적 검증 결과, 제안된 방법의 기여도 분석과 셰플리 값 기반 기준 설명 간 강한 일치를 보이며, 방법의 충실도를 확인한다.
• 이 방법은 복잡한 회귀 모델을 실제 응용 분야에서 성공적으로 설명할 수 있으며, 얼굴 연령 예측을 위한 딥 컨볼루션 네트워크와 원자 구조 시뮬레이션에서 유도된 분자의 에너지 예측 모델에 적용되었다.
• 사례 연구를 통해 분자의 에너지에 대해 화학적으로 타당한 설명을 도출하였으며, 물리적 직관과 일치하는 의미 있는 특성 기여도를 드러냈다.
• 논문은 분류 기반 XAI를 단순히 회귀에 적용할 경우, 클래스 경계가 없고 맥락에 따른 기준값이 필요한 점으로 인해 오해의 소지가 있거나 정보가 없는 설명이 도출된다는 점을 입증하였다.