[논문 리뷰] Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution

Lingyang Chu, Hu Xia외 3명|arXiv (Cornell University)|2018. 02. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 48인용 수 17

한 줄 요약

이 논문은 조각별 선형 신경망(PLNNs)에 대한 정확하고 일관된 해석을 달성하기 위해 $OpenBox$를 제안한다. 이는 PLNN을 등가의 국소 선형 분류기 집합으로 변환함으로써 달성된다. 이 방법은 입력 영역 내에서 정밀하고 글로벌하게 일관된 특성 기여도를 제공하며, 국소 근사 방법보다 더 높은 정확도와 모델 해킹 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Strong intelligent machines powered by deep neural networks are increasingly deployed as black boxes to make decisions in risk-sensitive domains, such as finance and medical. To reduce potential risk and build trust with users, it is critical to interpret how such machines make their decisions. Existing works interpret a pre-trained neural network by analyzing hidden neurons, mimicking pre-trained models or approximating local predictions. However, these methods do not provide a guarantee on the exactness and consistency of their interpretation. In this paper, we propose an elegant closed form solution named $OpenBox$ to compute exact and consistent interpretations for the family of Piecewise Linear Neural Networks (PLNN). The major idea is to first transform a PLNN into a mathematically equivalent set of linear classifiers, then interpret each linear classifier by the features that dominate its prediction. We further apply $OpenBox$ to demonstrate the effectiveness of non-negative and sparse constraints on improving the interpretability of PLNNs. The extensive experiments on both synthetic and real world data sets clearly demonstrate the exactness and consistency of our interpretation.

연구 동기 및 목표

• 딥 뉴럴 네트워크에 대한 정확하고 일관된 해석 방법의 부족, 특히 헬스케어 및 금융과 같은 위험 감수성 도메인에서의 문제를 해결한다.
• 숨겨진 뉴런 분석, 모델 정규화, 국소 근사와 같은 기존의 해석 방법의 한계를 극복한다. 이러한 방법들은 정확성과 일관성에 대한 이론적 보장이 부족하다.
• PLNN의 글로벌 행동을 수학적으로 엄밀하게 해석할 수 있는 닫힌 형태의 솔루션을 제공함으로써, 시각적으로 유사한 입력 간에도 일관된 해석을 보장한다.
• 비음수성 및 희소 제약 조건이 PLNN에서의 해석 가능성에 어떻게 기여하는지 $OpenBox$ 프레임워크를 통해 탐구한다.
• 모델 디버깅 및 적대적 예제 분석에서 $OpenBox$의 실용적 유용성을 입증한다.

제안 방법

• PLNN가 입력 공간 내 각각의 볼록 다각형에 대응하는 국소 선형 분류기(LLC) 집합과 수학적으로 동일시됨을 증명한다.
• 은닉 뉴런의 활성 상태와 가중치 행렬을 사용하여 PLNN에서 등가의 LLC로의 변환을 수식화한다.
• 각 LLC의 계수를 계산하기 위한 닫힌 형태의 해를 유도함으로써 근사 없이 정확하고 효율적인 해석을 가능하게 한다.
• 각 LLC의 결정 특성(가중치)을 사용하여 해당 다각형 내의 임의의 입력 인스턴스의 예측을 해석한다.
• 비음수성 및 희소 제약 조건이 PLNN의 특성 선택과 해석 가능성에 미치는 영향을 $OpenBox$를 통해 분석한다.
• 모델 해킹 실험을 통해 $OpenBox$ 기반 해석이 LIME보다 더 효과적인 변형을 이끌어내는지 검증한다.

실험 결과

연구 질문

• RQ1 기존의 국소 근사나 모델 정규화에 의존하지 않고, 미리 훈련된 PLNN에 대해 정확하고 일관된 해석을 제공할 수 있는가?
• RQ2 PLNN을 국소 선형 분류기 집합으로 수학적으로 표현하여 닫힌 형태의 해석을 가능하게 할 수 있는가?
• RQ3 PLNN에서 비음수성 및 희소 제약 조건을 사용할 경우 더 의미 있고 해석 가능한 특성 표현이 도출되는가?
• RQ4 $OpenBox$의 해석 품질이 LIME와 같은 국소 근사 방법에 비해 모델 해킹 성능 측면에서 어떻게 비교되는가?
• RQ5 $OpenBox$를 사용하여 진정한 결정 특성을 드러내어 PLNN의 잘못된 분류를 진단하고 디버깅할 수 있는가?

주요 결과

• $OpenBox$는 근사 오차 없이 PLNN을 등가의 국소 선형 분류기로 변환함으로써 정확하고 일관된 해석을 수행한다.
• 시각적으로 유사한 입력이 같은 볼록 다각형 내에 있을 경우 동일한 해석을 받기 때문에, 국소 방법에서 흔히 발생하는 일관성 문제를 제거한다.
• 합성 및 실세계 데이터셋에서 $OpenBox$는 LIME보다 모델 해킹 작업에서 뛰어난 성능을 보였으며, 더 적은 특성 수정으로 예측 확률의 평균 변화량(CPP)과 더 많은 레이블 변경(NLCI)을 달성했다.
• FMNIST-1에서 LIME는 예측 확률이 1.0 또는 0.0에 가까워 기울기 정보가 부족해 어려움을 겪는 데 비해, $OpenBox$의 우월성이 두드러졌다.
• 비음수성 및 희소 제약 조건을 적용해 훈련한 PLNN은 $OpenBox$에 의해 더 의미 있는 특성 선택을 보였으며, 해석 가능성의 향상이 뚜렷했다.
• 사례 연구에서 $OpenBox$는 진짜 결정 특성(예: 코트로 잘못 분류된 풀오버의 칼라와 어깨 패턴)을 정확히 특정하여 잘못된 분류를 진단하는 데 성공했다.