[논문 리뷰] GAMI-Net: An Explainable Neural Network based on Generalized Additive Models with Structured Interactions

Zebin Yang, Aijun Zhang외 1명|arXiv (Cornell University)|2020. 03. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 37인용 수 16

한 줄 요약

GAMI-Net은 주효과와 구조화된 쌍별 상호작용을 분리된 하위신경망을 통해 모델링함으로써 일반화된 가산 모델을 확장한 내재적 해석가능한 신경망이다. 해석 가능성 보장을 위해 희박성, 유전성, 경계 명확성 제약 조건을 도입하면서도 예측 정확도는 경쟁 수준을 유지하며, 실세계 데이터셋에서 EBM과 같은 모델을 능가하거나 그에 맞추어 뛰어난 모델 투명성으로 승리한다.

ABSTRACT

The lack of interpretability is an inevitable problem when using neural network models in real applications. In this paper, an explainable neural network based on generalized additive models with structured interactions (GAMI-Net) is proposed to pursue a good balance between prediction accuracy and model interpretability. GAMI-Net is a disentangled feedforward network with multiple additive subnetworks; each subnetwork consists of multiple hidden layers and is designed for capturing one main effect or one pairwise interaction. Three interpretability aspects are further considered, including a) sparsity, to select the most significant effects for parsimonious representations; b) heredity, a pairwise interaction could only be included when at least one of its parent main effects exists; and c) marginal clarity, to make main effects and pairwise interactions mutually distinguishable. An adaptive training algorithm is developed, where main effects are first trained and then pairwise interactions are fitted to the residuals. Numerical experiments on both synthetic functions and real-world datasets show that the proposed model enjoys superior interpretability and it maintains competitive prediction accuracy in comparison to the explainable boosting machine and other classic machine learning models.

연구 동기 및 목표

• 딥 신경망의 해석 가능성 부족 문제를 해결하기 위해 내재적 해석가능한 모델을 개발하는 것.
• 구조화된 상호작용과 강제 가능한 해석 가능성 제약 조건을 사용하여 예측 정확도와 모델 투명성의 균형을 이루는 것.
• 희박성, 유전성, 경계 명확성을 신경망 프레임워크에 통합하여 기존의 해석가능한 모델(예: EBM)을 초월하는 것.
• 실제 해석 가능성에 기여하는 1차원 및 2차원 플롯을 통해 주효과와 쌍별 상호작용을 시각화하는 것.

제안 방법

• GAMI-Net은 주효과 또는 쌍별 상호작용 각각을 모델링하는 다수의 가산 하위신경망으로 구성된 분리된 순방향 신경망이다.
• 각 하위신경망은 입력 특징 또는 그들의 상호작용의 비선형 형태 함수를 다층퍼셉트론을 통해 표현한다.
• 모델은 L1 정규화를 통해 희박성을 강제하여 유의미한 효과들만 선택함으로써 모델의 단순성(파라미터 수의 최소화)을 증진시킨다.
• 유전성 제약 조건은 쌍별 상호작용이 최소한 하나의 주효과가 존재할 경우에만 포함되도록 보장하여 구조적 해석 가능성 유지한다.
• 경계 명확성은 주효과와 상호작용 간의 겹침을 방지하여 기여도가 명확하고 해석 가능한 방식으로 유지되도록 한다.
• 적응형 학습 알고리즘은 먼저 주효과를 학습한 후 잔차에 쌍별 상호작용을 피팅함으로써 수렴성과 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 예측 성능 경쟁력 유지와 함께 내재적 해석 가능성을 갖춘 신경망을 설계할 수 있는가?
• RQ2 어떻게 신경망 프레임워크에 구조화된 상호작용을 통합하여 모델의 투명성을 확보할 수 있는가?
• RQ3 희박성, 유전성, 경계 명확성 제약 조건이 정확도를 희생시키지 않고 해석 가능성에 얼마나 기여하는가?
• RQ4 예측 성능 및 해석 가능성 측면에서 GAMI-Net은 EBM과 같은 최첨단 해석가능 모델에 비해 어떻게 비교되는가?

주요 결과

• GAMI-Net은 16개의 실세계 데이터셋에서 경쟁 가능한 예측 성능을 달성하였으며, 평균 테스트 RMSE 값은 EBM 및 기타 기준 모델과 유사하거나 뛰어나다.
• 캘리포니아 주택 데이터셋에서 GAMI-Net은 테스트 RMSE 4.708 ± 0.087을 기록하여 EBM(5.777 ± 0.169) 및 기타 모델를 능가하였다.
• 전기 그리드 데이터셋에서 GAMI-Net은 테스트 RMSE 0.658 ± 0.019를 기록하여 EBM(1.448 ± 0.028)를 뚜렷이 앞서갔다.
• 모델은 아바론, 바람, 엘레베이터 등의 다양한 데이터셋에서도 일관되게 낮은 RMSE를 유지하여 강력한 일반화 능력을 보였다.
• GAMI-Net의 해석 가능성은 주효과(1차원 플롯)와 쌍별 상호작용(2차원 히트맵)의 명확한 시각화를 통해 향상되었으며, 도메인 전문가들이 모델 행동을 검증하는 데 기여하였다.
• 주효과를 먼저 학습하고 나서 잔차에 상호작용을 피팅하는 적응형 학습 절차는 안정적인 수렴과 향상된 모델 충실도를 이끌어냈다.