[논문 리뷰] Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean

Anton Thielmann, René-Marcel Kruse외 2명|arXiv (Cornell University)|2023. 01. 27.

Aesthetic Perception and AnalysisNeuroscience인용 수 3

한 줄 요약

이 논문은 위치, 척도, 형태(Shape)를 위한 신경 가산 모델(Neural Additive Models for Location, Scale, and Shape, NAMLSS)를 소개한다. 이는 신경 가산 모델(NAMs)을 확장하여 평균 이외의 반응 분포의 모든 매개변수를 모델링하면서도 특징 수준의 해석 가능성(Interpretability)을 유지하는 새로운 해석 가능한 딥러닝 프레임워크이다. NAMLSS는 벤치마크 데이터셋에서 경쟁적인 예측 성능를 달성하며, 전체 분포 회귀를 가능하게 하고 시각적 해석 가능성을 제공하여 고위험 응용 분야에 적합하다.

ABSTRACT

Deep neural networks (DNNs) have proven to be highly effective in a variety of tasks, making them the go-to method for problems requiring high-level predictive power. Despite this success, the inner workings of DNNs are often not transparent, making them difficult to interpret or understand. This lack of interpretability has led to increased research on inherently interpretable neural networks in recent years. Models such as Neural Additive Models (NAMs) achieve visual interpretability through the combination of classical statistical methods with DNNs. However, these approaches only concentrate on mean response predictions, leaving out other properties of the response distribution of the underlying data. We propose Neural Additive Models for Location Scale and Shape (NAMLSS), a modelling framework that combines the predictive power of classical deep learning models with the inherent advantages of distributional regression while maintaining the interpretability of additive models. The code is available at the following link: https://github.com/AnFreTh/NAMpy

연구 동기 및 목표

• 의료와 같은 고위험 분야에서 딥 뉴럴 네트워크(DNNs)의 해석 가능성 부족 문제를 해결하기 위해.
• 평균 반응만 모델링하는 NAMs의 해석 가능성 범위를 확장하여 척도 및 형태와 같은 전체 분포 특성도 포괄하기 위해.
• DNN의 예측 능력을 유지하면서도, 가산 비모수 함수를 통해 모든 분포 매개변수에 대한 시각적 해석 가능성을 보장하는 신경 프레임워크를 개발하기 위해.
• 위치, 척도, 형태 매개변수를 모델링함으로써 평균 예측을 넘어서 데이터에 대한 통찰력을 향상시킬 수 있으며, 특히 비정규 분포를 띠는 복잡한 데이터에서의 효과를 입증하기 위해.

제안 방법

• NAMLSS는 각 분포 매개변수(예: 평균, 분산, 비대칭도)를 개별 특징별 신경 하위망의 합성 예측자로 모델링하며, GAMLSS와 NAMs의 영향을 받는다.
• 각 특징은 전용 하위망을 통해 처리되며, 이 하위망은 비모수적이고 해석 가능한 함수를 학습하고, 출력은 역링크 함수를 통해 변환되어 분포 매개변수로 산출된다.
• 모델은 유연한 분포 가족(예: 감마 분포, 로지스틱 분포)을 사용하며, 미분 가능한 손실 함수를 기반으로 최대우도 추정법을 통해 모든 매개변수를 동시에 추정한다.
• 아키텍처는 최대 네 개까지의 분포 매개변수를 지원하며, 각 매개변수는 별도의 가산 예측자로 모델링되어 복잡한 비선형 관계를 표현할 수 있다.
• 학습은 표준 백프로파게이션을 사용하며, 가정된 조건부 분포의 로그우도를 기반으로 한 손실 함수를 활용하여 매개변수 추정의 일관성을 확보한다.
• 모델은 연속형 및 이진형 반응 변수를 모두 지원하며, 적절한 분포 가정(예: 양의 연속형 변수에 대한 감마 분포, 이진 결과에 대한 로지스틱 분포)을 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 평균 이외의 반응 분포의 모든 매개변수를 모델링하면서도 해석 가능성을 유지할 수 있는가?
• RQ2 NAMLSS의 예측 성능는 NAMs, XGBoost, DNNs와 같은 최첨단 모델과 비교해 전체 분포 회귀에서 어떻게 나타나는가?
• RQ3 척도 및 형태 매개변수를 모델링함으로써 평균 예측을 넘어서 모델의 통찰력과 데이터 표현에 얼마나 기여하는가?
• RQ4 NAMLSS는 실제 데이터에서 복잡한 비선형 관계를 효과적으로 포착하면서도 개별 특징의 영향에 대한 시각적 해석 가능성을 유지할 수 있는가?

주요 결과

• NAMLSS는 -1160 ± 48.8의 경쟁적인 로그우도 성능를 기록하며, FICO 데이터셋에서 NAMs(-1809 ± 7.6)와 XGBoost(-1976 ± 13.4)를 모두 초월하는 분포 모델링 성능를 확보했다.
• FICO 이진 분류 벤치마크에서 NAMLSS는 0.72~0.73의 합리적인 AUC 성능를 유지하며, 전체 분포를 모델링함에도 불구하고 NAMs 및 XGBoost와 유사한 성능를 보였다.
• 모델은 척도 및 형태와 같은 분포 특성을 성공적으로 포착하여, 평균 예측을 넘어서 데이터 행동에 대한 깊이 있는 통찰을 가능하게 했다.
• NAMLSS는 해석 가능한 딥러닝이 예측 정확도나 해석 가능성 없이도 전체 분포 회귀로 확장될 수 있음을 입증했다.
• 프레임워크는 다양한 분포 가족(예: 감마 분포, 로지스틱 분포)에 대해 강건하며, 하위망을 통해 모든 분포 매개변수에 대한 특징 영향의 시각적 해석 가능성을 제공한다.