[논문 리뷰] An interpretable neural network model through piecewise linear approximation

Mengzhuo Guo, Qingpeng Zhang외 2명|arXiv (Cornell University)|2020. 01. 20.

Neural Networks and Applications참고 문헌 8인용 수 7

한 줄 요약

이 논문은 넓은 범위와 깊은 구조 프레임워크 내에서 조각별 선형 근사와 다층 퍼셉트론을 조합한 하이브리드 신경망 모델인 PiLiD를 제안한다. 이는 높은 예측 정확도와 내재된 해석 가능성 모두를 달성한다. 학습 가능한 조각별 선형 함수를 통해 특성 기여도를 명시적으로 모델링함으로써, 모델은 예측 정확도를 유지하면서도 내재된 해석 가능한 특성 형태를 제공한다. 이는 기준 데이터셋에서 최첨단 성능을 유지한다.

ABSTRACT

Most existing interpretable methods explain a black-box model in a post-hoc manner, which uses simpler models or data analysis techniques to interpret the predictions after the model is learned. However, they (a) may derive contradictory explanations on the same predictions given different methods and data samples, and (b) focus on using simpler models to provide higher descriptive accuracy at the sacrifice of prediction accuracy. To address these issues, we propose a hybrid interpretable model that combines a piecewise linear component and a nonlinear component. The first component describes the explicit feature contributions by piecewise linear approximation to increase the expressiveness of the model. The other component uses a multi-layer perceptron to capture feature interactions and implicit nonlinearity, and increase the prediction performance. Different from the post-hoc approaches, the interpretability is obtained once the model is learned in the form of feature shapes. We also provide a variant to explore higher-order interactions among features to demonstrate that the proposed model is flexible for adaptation. Experiments demonstrate that the proposed model can achieve good interpretability by describing feature shapes while maintaining state-of-the-art accuracy.

연구 동기 및 목표

• 후행 해석 방법의 한계를 해결하기 위해, 일관되지 않은 설명을 유도하고 단순성의 희생을 통해 예측 정확도를 낮추는 문제를 해결한다.
• 학습 과정에서 모델 구조 자체에 해석 가능성을 직접 통합하는 모델 기반의 해석 가능성 접근법을 개발한다.
• 외부 서rogate 모델에 의존하지 않고도 명시적이고 인간이 읽을 수 있는 특성 기여도 형태(예: 비선형, 세그먼트 관계)를 제공한다.
• 복잡한 특성 상호작용을 포착하기 위해 깊은 신경망 구성 요소를 통합함으로써 높은 예측 성능를 유지한다.
• 고차 상호작용을 포착할 수 있도록 하되 해석 가능성을 유지하는 변형(PiLiB)을 통해 유연성을 입증한다.

제안 방법

• 모델는 넓은 범위와 깊은 구조 아키텍처를 사용하여, 해석 가능성에 기여하는 조각별 선형 구성 요소와 표현력에 기여하는 깊은 신경망 구성 요소를 조합한다.
• 조각별 선형 구성 요소는 학습 가능한 킷지와 기울기를 사용하여 복잡한 비선형 특성 기여도를 근사하며, 특성 형태의 명시적 시각화를 가능하게 한다.
• 깊은 구성 요소는 다층 퍼셉트론(MLP)을 사용하여 고차 특성 상호작용을 모델링하고 예측 정확도를 향상시킨다.
• 양 구성 요소는 엔드 투 엔드 백프로파게이션을 통해 공동으로 훈련되어 해석 가능성과 예측 성능 간의 일치를 확보한다.
• 모델의 해석 가능성은 내재된 것이며, 특성 형태는 후행 분석이 아닌 훈련된 조각별 선형 가중치에서 직접 유도된다.
• PiLiB라는 변형은 상호작용 항에 대해 조각별 선형 근사를 적용하여 고차 상호작용을 포착하도록 모델을 확장한다.

실험 결과

연구 질문

• RQ1 후행 해석 방법에 의존하지 않고도 높은 예측 정확도와 내재된 해석 가능성을 동시에 달성할 수 있는 하이브리드 신경망 모델이 존재하는가?
• RQ2 조각별 선형 근사의 사용이 선형 모델 또는 비선형 블랙박스 모델 대비 특성 기여도의 해석 가능성에 어떻게 기여하는가?
• RQ3 모델가 명시적이고 시각화 가능한 특성 형태를 제공하면서도 최첨단 성능를 유지할 수 있는 정도는 어느 정도인가?
• RQ4 모델가 고차 특성 상호작용을 포착하면서도 해석 가능성을 유지할 수 있는가?
• RQ5 다양한 데이터 크기와 특성 차원에서 모델의 해석 가능성 및 성능 향상이 얼마나 견고한가?

주요 결과

• PiLiD 모델은 Bike Sharing, Bank Marketing, Spambase, SkillCraft를 포함한 모든 테스트 데이터셋에서 최첨단 AUC 성능를 달성하였으며, 더 큰 데이터셋에서는 AUC 값이 항상 0.90 초과를 기록하였다.
• N=15000인 Bike Sharing 데이터셋에서 PiLiD-20는 AUC 0.9215 ± 0.0071를 기록하였고, MLP 기준선(0.9211 ± 0.0048)을 초월하면서도 완전한 해석 가능성을 제공하였다.
• 모델의 조각별 선형 구성 요소는 복잡한 비선형 특성 관계(예: 비단조화적 또는 세그먼트 패턴)를 성공적으로 포착하여 시각적으로 해석 가능한 형태로 만들었다.
• PiLiB 변형은 고차 상호작용을 성공적으로 모델링하여, 모델의 복잡한 해석 필요성에 대응하는 유연성을 입증하였다.
• 공동 훈련 기반은 해석 가능성과 성능 간의 상충관계를 방지하였으며, 조각별 선형 구성 요소가 정확도를 훼손하지 않으면서도 표현력을 향상시켰다.
• 후행 방법과 비교해 PiLiD는 모순되는 설명을 피하고 재훈련이 필요한 서rogate 모델이 필요 없어 안정적이고 일관된 해석을 제공한다.