[논문 리뷰] NeuralSens: Sensitivity Analysis of Neural Networks

J. Pizarroso, Jorge Iglesias Aldo Portela외 1명|arXiv (Cornell University)|2020. 02. 26.

Neural Networks and Applications인용 수 15

한 줄 요약

이 논문은 다층 퍼셉트론(MLP) 신경망의 변수 중요도와 입력-출력 관계 평가를 위해 편미분을 사용하는 민감도 분석을 가능하게 하는 R 패키지 NeuralSens를 소개한다. 이 방법은 학습 데이터 전반에서 출력에 대한 입력에 대한 기울기를 계산하여 모델 용량이 증가할수록 민감도 지표의 안정성과 일관성을 입증한다.

ABSTRACT

Neural networks are important tools for data-intensive analysis and are commonly applied to model non-linear relationships between dependent and independent variables. However, neural networks are usually seen as "black boxes" that offer minimal information about how the input variables are used to predict the response in a fitted model. This article describes the \pkg{NeuralSens} package that can be used to perform sensitivity analysis of neural networks using the partial derivatives method. Functions in the package can be used to obtain the sensitivities of the output with respect to the input variables, evaluate variable importance based on sensitivity measures and characterize relationships between input and output variables. Methods to calculate sensitivities are provided for objects from common neural network packages in \proglang{R}, including \pkg{neuralnet}, \pkg{nnet}, \pkg{RSNNS}, \pkg{h2o}, \pkg{neural}, \pkg{forecast} and \pkg{caret}. The article presents an overview of the techniques for obtaining information from neural network models, a theoretical foundation of how are calculated the partial derivatives of the output with respect to the inputs of a multi-layer perceptron model, a description of the package structure and functions, and applied examples to compare \pkg{NeuralSens} functions with analogous functions from other available \proglang{R} packages.

연구 동기 및 목표

• 모델 출력에 대한 입력 변수의 영향을 정량화하여 블랙박스 신경망을 해석할 수 있는 방법을 개발하기 위해.
• 비선형적이고 복잡한 관계를 민감도 분석을 통해 이해하는 데 도전하는 데 목적이 있다.
• 다양한 신경망 학습 프레임워크에서 민감도 분석을 지원하는 통합적이고 접근 가능한 R 패키지를 제공하기 위해.
• 기존 기법들인 Garson의 방법과 Olden의 방법과 비교하여 제안된 편미분 방법의 정확성과 해석 가능성에 대해 평가하기 위해.
• 다양한 모델 아키텍처와 학습 조건에서 민감도 지표의 안정성을 검증하기 위해.

제안 방법

• 핵심 방법은 역전파를 사용하여 각 학습 샘플에서 각 입력 변수에 대한 신경망 출력의 편미분을 계산한다.
• 민감도 측정치는 데이터셋 전반에서 평균, 표준편차, 제곱합(SensSQ)을 포함하여 변수 중요도를 평가하기 위해 집계된다.
• 기본 R 신경망 패키지(예: caret, nnet)로 학습된 모델을 지원하며, 비지원 모델을 위한 일반화된 'numeric' 방법도 포함되어 있다.
• 민감도 플롯은 입력 값 범위에 따라 입력 변수와 모델 출력 간의 관계를 시각화하기 위해 생성된다.
• 다양한 무작위 초기화로 여러 모델을 학습시고 민감도 지표의 분산을 평가하여 안정성을 평가한다.
• 기준 데이터셋인 'iris'를 사용하여 Garson의 방법, Olden의 방법, Lek의 프로파일 방법과 같은 대안적 접근법과 비교한다.

실험 결과

연구 질문

• RQ1 학습된 MLP에서 유도된 편미분이 개별 입력 변수가 모델 출력에 미치는 영향을 얼마나 정확하게 정량화할 수 있는가?
• RQ2 Garson의 방법과 Olden의 방법과 비교하여 편미분 방법의 민감도 지표는 크기와 일관성 측면에서 어떻게 다른가?
• RQ3 모델 용량(은닉 뉴런 수)이 민감도 지표의 안정성과 신뢰성에 어떤 영향을 미치는가?
• RQ4 인위적인 변동을 사용하지 않고도 제안된 방법이 비선형 입력-출력 관계를 효과적으로 시각화할 수 있는가?
• RQ5 다른 무작위 초기화와 다양한 네트워크 아키텍처로 학습했을 때 민감도 추정치는 얼마나 안정적인가?

주요 결과

• NeuralSens의 편미분 방법은 충분한 모델 용량이 확보된 경우에 안정적이고 해석 가능한 변수 중요도 측정치를 제공하며, 민감도 지표의 변동이 거의 없음을 보였다.
• iris 데이터셋에서 Petal.Length와 Petal.Width가 가장 높은 민감도(SensSQ = 0.3499, virginica 종)를 보였으며, 이는 종 간 알려진 생물학적 차이와 일치했다.
• 10개의 은닉 뉴런을 가진 50개의 독립적으로 학습된 모델에서 일관된 결과를 도출하여, 가중치 초기화의 변동에 대한 민감도 지표의 안정성을 확인했다.
• NeuralSens가 생성한 민감도 플롯은 특히 virginica 종에서 입력과 출력 간의 비선형 관계를 효과적으로 드러냈다.
• Garson의 방법과 Olden의 방법과 비교하여, 편미분 접근법은 특히 회귀 및 분류 과제에서 입력 영향에 대해 더 세밀하고 연속적인 통찰을 제공했다.
• 이 패키지는 기존의 R 신경망 워크플로우와 성공적으로 통합되었으며, 'lekprofile' 및 'partial' 함수와 비교해도 동등하거나 더 뛰어난 해석 가능성을 제공했다.