[논문 리뷰] Structural Neural Additive Models: Enhanced Interpretable Machine Learning

Mattias Luber, Anton Thielmann외 1명|arXiv (Cornell University)|2023. 02. 18.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 구조적 신경 가산 모델(SNAMs)을 제안한다. SNAMs는 희소한 스퍼플 기반 활성화 레이어를 사용함으로써 딥 뉴럴 네트워크의 예측 성능와 일반화 가산 모델의 해석 가능성 간의 조화를 이룬 새로운 해석 가능한 딥 러닝 프레임워크이다. SNAMs는 완전히 연결된 DNN과 유사한 최상위 수준의 성능를 달성하면서도 모델 파라미터의 직접적인 해석, 베이지안 신뢰구간을 통한 불확실성 정량화, 학습 가능한 결절을 갖춘 실버먼 커널 기반 신경 스퍼플을 통해 효율적인 계산을 가능하게 한다.

ABSTRACT

Deep neural networks (DNNs) have shown exceptional performances in a wide range of tasks and have become the go-to method for problems requiring high-level predictive power. There has been extensive research on how DNNs arrive at their decisions, however, the inherently uninterpretable networks remain up to this day mostly unobservable "black boxes". In recent years, the field has seen a push towards interpretable neural networks, such as the visually interpretable Neural Additive Models (NAMs). We propose a further step into the direction of intelligibility beyond the mere visualization of feature effects and propose Structural Neural Additive Models (SNAMs). A modeling framework that combines classical and clearly interpretable statistical methods with the predictive power of neural applications. Our experiments validate the predictive performances of SNAMs. The proposed framework performs comparable to state-of-the-art fully connected DNNs and we show that SNAMs can even outperform NAMs while remaining inherently more interpretable.

연구 동기 및 목표

• 의료 및 금융과 같은 고위험 분야에서 딥 뉴럴 네트워크(DNNs)의 해석 가능성 한계를 해결하기 위해.
• 기존의 해석 가능한 모델들인 신경 가산 모델(NAMs)에서의 파라미터 비효율성과 불확실성 정량화의 부재를 극복하기 위해.
• 특징 효과의 시각화를 넘어서 모델 파라미터와 신뢰구간의 직접적 해석을 가능하게 하는 프레임워크를 개발하기 위해.
• 스퍼플 기반 활성화 레이어와 학습 가능한 결절을 통해 극도로 희소한 파라미터로 높은 예측 성능를 달성하기 위해.
• 스퍼플 기반 레이어의 2차원 일반화를 통해 공간적 및 구조적 데이터의 네이티브 처리를 가능하게 하기 위해.

제안 방법

• 결절을 사용한 기저 전개를 통해 삼차 회귀 스퍼플을 뉴럴 네트워크의 활성화 레이어로 통합함으로써 비선형 특징 효과의 민첩하고 저비용의 모델링을 가능하게 한다.
• 정확도를 유지하면서도 학습 비용을 줄이기 위해 실버먼 커널을 사용한 스퍼플의 계산적으로 효율적인 근사치를 제안한다.
• 스퍼플 레이어에 학습 가능한 결절을 도입하여 파라미터 수를 늘리지 않으면서도 복잡한 비선형 기능적 관계를 적응적으로 포착한다.
• 베이지안 추론을 사용하여 모델 파라미터를 추정하고 신뢰구간을 계산함으로써 불확실성 정량화와 뿐만 아니라 시각화를 넘어서는 해석 가능성 향상을 달성한다.
• 각 입력 특징이 공유된 스퍼플 기반 활성화 함수를 갖는 고유한 희소 서브네트워크를 통해 처리되는 신경망 아키텍처를 구성한다.
• 캘리포니아 주택 데이터셋에서의 사례와 같이, 스퍼플 레이어를 2차원으로 확장하여 고차원 입력(예: 공간 데이터)으로의 일반화를 가능하게 한다.

Figure 1: Visualization of the cubic regression splines. The left hand side displays the basis functions and the right hand side shows how the function approximation is done by scaling the bases appropriately

실험 결과

연구 질문

• RQ1 예측 성능를 유지하면서도 개별 모델 파라미터와 불확실성 추정치의 직접적 해석이 가능한 신경망 아키텍처를 설계할 수 있는가?
• RQ2 스퍼플 기반 활성화 레이어를 어떻게 계산적으로 효율적이고 확장 가능하게 만들 수 있으며, 동시에 모델링의 융통성은 유지할 수 있는가?
• RQ3 학습 가능한 결절을 갖춘 신경 스퍼플에서의 표현력 향상 정도는 어떠한가? 이는 파라미터 희소성과 해석 가능성은 유지하면서도 가능한가?
• RQ4 제안된 프레임워크는 NAMs와 같은 기존의 해석 가능한 모델보다도 예측 정확도와 해석 가능성 측면에서 뛰어나게 성능을 냈는가?
• RQ5 모델은 주택 가격 예측에서 지리적 좌표와 같은 구조적 및 공간 데이터로 일반화되는 데 얼마나 잘 적응하는가?

주요 결과

• SNAMs는 캘리포니아 주택, FICO, 보험 등 여러 벤치마크 데이터셋에서 최신 완전히 연결된 딥 뉴럴 네트워크와 유사한 예측 성능를 달성한다.
• SNAMs는 훨씬 적은 파라미터를 사용하면서도 NAMs를 능가하는 예측 성능를 보이며, 이는 더 높은 효율성과 일반화 능력을 증명한다.
• 모델은 시각화를 넘어서는 완전한 해석 가능성을 제공하며, 학습된 파라미터의 직접적 해석과 불확실성 정량화를 위한 베이지안 신뢰밴드의 구축이 가능하다.
• 실버먼 커널 기반 신경 스퍼플의 사용은 계산 비용을 줄이면서도 높은 정확도를 유지함으로써 빠른 학습과 추론을 가능하게 한다.
• 캘리포니아 주택 데이터셋에서 SNAMs는 공간 좌표를 구조적 영향으로 함께 모델링할 수 있는 능력 덕분에 상당한 성능 향상을 보였다.
• 스퍼플 레이어의 2차원 일반화를 통해 공간 데이터의 네이티브 처리가 가능해졌으며, 주택 가격에 대한 영향이 긍정적 또는 부정적인 지역을 강조하는 해석 가능한 지도형 히트맵을 생성하였다.

Figure 2: The figure sketches how the different types of approximations could be implemented as neural networks.