[논문 리뷰] Detecting Statistical Interactions from Neural Network Weights

Michael Tsang, Dehua Cheng외 1명|arXiv (Cornell University)|2017. 05. 14.

Anomaly Detection Techniques and Applications참고 문헌 54인용 수 34

한 줄 요약

이 논문은 피드포워드 신경망 내 통계적 상호작용을 학습된 가중치 행렬을 분석함으로써 상호작용 후보자에 대한 지수적 탐색을 피하는 새로운 프레임워크인 신경 상호작용 탐지(Neural Interaction Detection, NID)를 제안한다. 비선형 활성화 효과와 은닉 유닛 중요도 근사치를 활용함으로써 NID는 이전 방법들인 Additive Groves에 비해 수개의 주기수 빠르게 작동하면서도 최첨단의 상호작용 탐지 정확도를 달성한다.

ABSTRACT

Interpreting neural networks is a crucial and challenging task in machine learning. In this paper, we develop a novel framework for detecting statistical interactions captured by a feedforward multilayer neural network by directly interpreting its learned weights. Depending on the desired interactions, our method can achieve significantly better or similar interaction detection performance compared to the state-of-the-art without searching an exponential solution space of possible interactions. We obtain this accuracy and efficiency by observing that interactions between input features are created by the non-additive effect of nonlinear activation functions, and that interacting paths are encoded in weight matrices. We demonstrate the performance of our method and the importance of discovered interactions via experimental results on both synthetic datasets and real-world application datasets.

연구 동기 및 목표

• 피드포워드 신경망 내 통계적 상호작용을 효율적이고 정확하게 탐지할 수 있는 방법을 개발하는 것.
• 모든 가능한 상호작용 조합의 지수적 공간을 탐색하는 데 있어 계산적으로 불가능한 문제를 해결하는 것.
• 후행 해석이나 모델 정밀화에 의존하지 않고 신경망 가중치를 직접 해석하여 특징 상호작용을 밝혀내는 것.
• 과학적 및 임상 적용을 위해 고차수 또는 비선형 상호작용을 포함한 임의의 순서나 형태의 상호작용을 탐지할 수 있도록 하는 것.

제안 방법

• NID는 비선형 활성화 함수의 비가산적 효과를 가중치 행렬에 분석함으로써 상호작용을 식별한다.
• 모든 은닉 유닛 위의 가중치를 사용하여 은닉 유닛 중요도를 근사함으로써 입력 가중치 행렬의 효율적 2차원 순회를 가능하게 한다.
• 상호작용의 순서가 다양할 수 있는 일반화된 가감 모델을 사용하여 상위-K 진정한 상호작용을 순위 매기고 선택한다.
• 임의의 순서의 상호작용을 고려하는 특수한 형태의 가감 모델을 통해 상호작용 중요도를 계산한다.
• 중복을 방지하기 위해 초집합 상호작용에만 초점을 맞춘 상위-r순위 재현율 메트릭을 사용하여 상호작용 순위 품질을 평가한다.
• 계산량을 줄이면서도 높은 탐지 정확도를 유지하기 위해 컷오프 전략을 적용한다.

실험 결과

연구 질문

• RQ1 모든 가능한 상호작용 조합을 철저히 탐색하지 않고도 신경망 내 통계적 상호작용을 탐지할 수 있는가?
• RQ2 가중치 해석 기반의 방법이 최첨단 접근법에 비해 얼마나 정확하게 상호작용을 탐지할 수 있는가?
• RQ3 복잡한 특징 의존성의 존재 속에서도 이 프레임워크는 고차수 및 비선형 상호작용을 효과적으로 탐지할 수 있는가?
• RQ4 Additive Groves와 같은 계산적으로 비용이 많이 드는 대안에 비해 이 방법은 런타임 측면에서 어떻게 스케일링되는가?
• RQ5 특징 상관관계나 상호연결된 상호작용은 탐지된 상호작용의 신뢰성에 어느 정도 영향을 미치는가?

주요 결과

• NID는 저소음 수준에서 중간 소음 수준까지 Additive Groves(AG)와 유사한 상위-r순위 재현율을 달성한다.
• 동일한 작업에서 AG가 수시간이 소요되는 데 비해 NID는 수초 내로 실행되며, 이는 AG보다 수개의 주기수 더 빠른 속도를 의미한다.
• 합성 데이터셋에서 NID는 이원 상호작용 탐지에 대해 AUC가 1.0을 기록하여 진정한 상호작용과 가짜 상호작용을 완벽하게 구분함을 보였다.
• 실제 세계 데이터셋, 특히 의료 및 금융 분야의 데이터셋에서 NID는 예측 성능을 크게 향상시키는 소수의 고차수 상호작용을 탐지하였다.
• 탐지된 상호작용의 소수의 조합이 기준 모델 대비 상대적인 성능 향상으로 이어지며, 이는 상당한 예측 성능 향상이 이루어짐을 보여준다.
• 상호연결된 이원 상호작용을 고차수 상호작용으로 잘못 탐지하는 데에도 불구하고 NID는 일반적인 혼동 요인에 대해 강건한 성능 유지를 보이며, 이는 신뢰성 있는 탐지 능력을 시사한다.