[논문 리뷰] Explainable Neural Networks based on Additive Index Models

Joel Vaughan, Agus Sudjianto외 3명|arXiv (Cornell University)|2018. 06. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 84

한 줄 요약

본 논문은 Additive index models로 구성된 Explainable Neural Network (xNN) 아키텍처를 제시하여 투영 계층 및 단변량 리지 함수로 해석 가능한 특징 엔지니어링을 제공하면서 예측 성능을 경쟁력 있게 유지합니다. 또한 학습된 구성요소를 이해하기 위한 시각화 기법을 시연하고 단순화를 위한 정규화에 대해 논의합니다.

ABSTRACT

Machine Learning algorithms are increasingly being used in recent years due to their flexibility in model fitting and increased predictive performance. However, the complexity of the models makes them hard for the data analyst to interpret the results and explain them without additional tools. This has led to much research in developing various approaches to understand the model behavior. In this paper, we present the Explainable Neural Network (xNN), a structured neural network designed especially to learn interpretable features. Unlike fully connected neural networks, the features engineered by the xNN can be extracted from the network in a relatively straightforward manner and the results displayed. With appropriate regularization, the xNN provides a parsimonious explanation of the relationship between the features and the output. We illustrate this interpretable feature--engineering property on simulated examples.

연구 동기 및 목표

• 은행업 및 의료와 같은 규제된 영역에서 해석 가능한 기계학습의 필요성을 제기한다.
• 해석 가능한 특징과 리지 함수를 산출하는 구조화된 신경망(xNN)을 제안한다.
• xNN이 입력의 선형 결합과 단변량 비선형 변환을 어떻게 학습하는지 보인다.
• 리지 함수와 조건부 효과의 시각화를 통해 xNN의 설명가능성을 시연한다.

제안 방법

• Additive index model을 정의하고 투영 계층, 단변량 리지 함수를 학습하는 서브네트워크, 최종 출력을 형성하는 결합 계층을 갖춘 신경망 구현(xNN)을 도출한다.
• 각 리지 함수가 투영 계층을 통해 입력의 선형 투영으로 학습되도록 구조를 부과한다.
• 서브네트워크를 사용해 단변량 변환을 모델링하고 선형-활성화 결합 계층으로 최종 출력을 형성한다.
• 해석의 단순성과 해석가능성을 높이기 위해 투영 가중치와 리지 가중치에 대한 L1 규제(정규화)를 가능하게 한다.
• 미니배치 최적화 및 GPU 가속과 호환되는 기울기 기반 학습을 허용한다.
• 학습된 리지 함수와 조건부 효과를 해석하기 위한 시각화 기법을 제공한다.

실험 결과

연구 질문

• RQ1 xNN이 합성 지수 구조를 통해 학습된 특징에 대한 해석 가능한 설명을 제공할 수 있는가?
• RQ2 xNN에서 규제(정규화)가 모델 회복 가능성과 설명가능성 간의 균형에 어떤 영향을 미치는가?
• RQ3 주요 모델이나 대체 모델로 사용될 때 xNN의 성능은 다른 모델과 어떻게 비교되는가?
• RQ4 해석을 돕는 실용적인 시각화 도구(리지 함수, 투영 지수, 조건부 효과)는 무엇인가?
• RQ5 데이터 생성 메커니즘이 additive index models와 일치할 때 xNN이 이를 얼마나 충실하게 회복할 수 있는가?

주요 결과

• 리지 함수와 투영 계수는 각 학습된 단변량 변환을 주도하는 입력 조합을 드러낸다.
• 투영 가중치와 리지 가중치에 대한 L1 페널티 규제는 희소성을 촉진하여 더 간결하고 해석 가능한 모델을 가능하게 한다.
• 곱셈적 상호작용이 있는 선형 모델에서 xNN은 선형 및 이차 항에 해당하는 활성 서브네트워크를 식별하고 상호작용 구조를 회복한다.
• 합성 지수 프레임워크에 맞지 않는 비선형 모델에서도 xNN은 설명가능성을 유지하며, 투영과 리지 함수가 타깃을 어떻게 근사하는지 보인다.
• 예제 1의 Holdout MSE가 0.0028로 하한선 0.0025에 근접했다.
• 예제 2의 Holdout MSE가 0.0122로 하한선 0.01에 근접했다.
• 본 논문은 모델 회복 가능성이 제한적일 때도 설명가능성을 달성할 수 있으며, xNN이 다른 모델의 대리모델로 사용될 수 있음을 강조한다.