[논문 리뷰] GAM(e) changer or not? An evaluation of interpretable machine learning models based on additive model constraints

Patrick Zschech, Sven Weinzierl외 3명|arXiv (Cornell University)|2022. 04. 19.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

이 논문은 일반화된 가산 모형(GAMs) 기반의 다섯 가지 내재적 해석 가능성을 지닌 기계학습 모형을 평가하고, 12개의 데이터셋을 통해 기존의 여섯 가지 전통적 ML 모형과 비교한다. GAM 기반 모형은 형태 함수를 통해 뛰어난 해석 가능성을 제공하면서도 경쟁 가능한 예측 성능를 달성하는 것으로 나타났지만, 계산 비용이 높고 인과적 해석은 상관 기반 학습으로 인해 여전히 제한됨을 확인하였다.

ABSTRACT

The number of information systems (IS) studies dealing with explainable artificial intelligence (XAI) is currently exploding as the field demands more transparency about the internal decision logic of machine learning (ML) models. However, most techniques subsumed under XAI provide post-hoc-analytical explanations, which have to be considered with caution as they only use approximations of the underlying ML model. Therefore, our paper investigates a series of intrinsically interpretable ML models and discusses their suitability for the IS community. More specifically, our focus is on advanced extensions of generalized additive models (GAM) in which predictors are modeled independently in a non-linear way to generate shape functions that can capture arbitrary patterns but remain fully interpretable. In our study, we evaluate the prediction qualities of five GAMs as compared to six traditional ML models and assess their visual outputs for model interpretability. On this basis, we investigate their merits and limitations and derive design implications for further improvements.

연구 동기 및 목표

• 내재적 해석 가능성을 지닌 모형이 가산 제약 조건을 기반으로 하여 기존의 화이트박스 및_BLK 박스 ML 모형과 경쟁 가능한 예측 성능를 달성할 수 있는지 평가하는 것.
• 해석 가능성 및 모형 행동 측면에서 다양한 GAM 기반 모형의 시각적 및 구조적 출력을 객관적으로 비교하는 것.
• 실증적 평가 및 관찰된 한계를 바탕으로 향후 해석 가능한 ML 모형 개발을 위한 설계 원칙을 도출하는 것.
• 정보시스템 연구 맥락에서 고급 GAM 확장 모형 간의 중립적이고 종합적인 교차 모델 비교의 부족을 해소하는 것.
• 정확도와 해석 가능성 모두가 중요한 실세계 IS 응용에서의 모델 선택을 위한 실용적 지침을 제공하는 것.

제안 방법

• 연구는 다섯 가지 GAM/GAIM 기반 모형을 평가한다: 스퍼린(파이게임), 설명 가능한 부스팅 머신(EBM), 신경 가산 모형(NAM), GAMI-넷, ExNN이며, 모두 기본 하이퍼파rameter 설정을 사용한다.
• 비교를 위해 여섯 가지 기존 ML 모형이 포함된다: 로지스틱 회귀, 결정 트리, 랜덤 포레스트, 기울기 부스팅 기반 머신(GBM), XGBoost, 다층 퍼셉트론(MLP)이며, 모두 기본 또는 표준 설정으로 구성된다.
• 평가 대상은 12개의 표본 데이터셋이며, AUC, 정확도, 평균 제곱 오차 등의 표준 지표를 사용해 예측 성능를 분석한다.
• 모형의 해석 가능성은 형태 함수—입력 특징과 예측 간의 단변량 비선형 맵핑—를 분석하여 정성적으로 평가한다. 이는 부드러움, 유연성, 안정성 측면에서의 차이를 강조한다.
• 계산 효율성은 학습 시간을 측정하여 평가하고, 모형의 강건성은 하이퍼파rameter 설정 및 데이터 크기에 대한 민감도를 분석한다.
• 모형 유형 간 비교 가능성을 확보하기 위해 광범위한 하이퍼파rameter 튜닝을 피하고 체계적이고 공정한 비교 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 RQ1: 가산 모형 제약 조건을 기반으로 한 해석 가능한 모형이 기존의 화이트박스 및 블랙박스 ML 모형과 비교해 경쟁 가능한 예측 결과를 도출할 수 있는가?
• RQ2 RQ2: 가산 모형 제약 조건을 기반으로 한 해석 가능한 ML 모형의 출력은 형태 함수 행동 및 해석 가능성 측면에서 어떻게 상호 객관적으로 다를 수 있는가?
• RQ3 RQ3: 예측 정확도, 계산 비용, 해석 가능성 측면에서 다양한 GAM 기반 모형의 주요 장점과 한계는 무엇인가?
• RQ4 RQ4: 향후 정보시스템 응용을 위한 내재적 해석 가능성을 지닌 ML 모형 개발을 이끄는 데 도움이 되는 설계 원칙은 무엇인가?

주요 결과

• GAM 기반 모형, 특히 EBM과 NAM은 대부분의 데이터셋에서 XGBoost나 GBM과 같은 기존 모형과 비교해 유사하거나 뛰어난 예측 성능를 보이며, 특히 AUC와 정확도 측면에서 유의미한 성과를 나타낸다.
• EBM과 NAM의 형태 함수는 매우 높은 유연성과 부드러움을 보이며, 비선형 특징 효과를 명확하게 시각화할 수 있다. 반면 스퍼린은 작은 데이터셋에서 노이즈에 더 민감하고 과적합 경향이 뚜렷하다.
• GAMI-넷과 ExNN는 복잡한 비선형 패턴을 잘 포착하지만, 학습 시간이 상당히 길어 대규모 데이터셋에서는 확장성이 떨어진다.
• 강력한 예측 성능에도 불구하고, 모든 GAM 기반 모형은 상관 기반 학습으로 인해 인과 관계를 설정하는 데 한계를 지니며, 형태 함수가 의미 있는 것처럼 보여도 이를 보장하지 못한다.
• GAM 기반 모형의 계산 비용은 상당히 높으며, 특히 GAMI-넷과 ExNN는 실시간 또는 대규모 응용에 적합하지 않아 최적화가 필요하다.
• 이 연구는 향후 해석 가능한 모형 개발을 위한 네 가지 설계 원칙을 도출한다: (1) 모형의 유연성과 계산 효율성의 균형 유지, (2) 안정적이고 부드러운 형태 함수 보장, (3) 정확도를 희생시키지 않은 특징 기반 해석 가능성 지원, (4) 실제 의사결정 맥락에서 사용자 중심 평가 가능하도록 설계.