[논문 리뷰] Layerwise Knowledge Extraction from Deep Convolutional Networks

Simon Odense, Artur d’Avila Garcez|arXiv (Cornell University)|2020. 03. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 5

한 줄 요약

이 논문은 깊이 있는 합성곱 신경망의 설명 가능성을 균형 있게 확보하기 위해 계층별 M-of-N 규칙 추출 방법을 제안한다. 규칙의 복잡성과 정확도 사이의 균형을 이루며, 내부 계층은 설명 가능성에 저항하는 반면 소프트맥스 계층은 간결하고 정확한 규칙을 통해 매우 높은 설명 가능성을 보임을 발견하여, 해석 가능한 AI를 위한 하이브리드 설명 가능성 접근법을 가능하게 한다.

ABSTRACT

Knowledge extraction is used to convert neural networks into symbolic descriptions with the objective of producing more comprehensible learning models. The central challenge is to find an explanation which is more comprehensible than the original model while still representing that model faithfully. The distributed nature of deep networks has led many to believe that the hidden features of a neural network cannot be explained by logical descriptions simple enough to be comprehensible. In this paper, we propose a novel layerwise knowledge extraction method using M-of-N rules which seeks to obtain the best trade-off between the complexity and accuracy of rules describing the hidden features of a deep network. We show empirically that this approach produces rules close to an optimal complexity-error tradeoff. We apply this method to a variety of deep networks and find that in the internal layers we often cannot find rules with a satisfactory complexity and accuracy, suggesting that rule extraction as a general purpose method for explaining the internal logic of a neural network may be impossible. However, we also find that the softmax layer in Convolutional Neural Networks and Autoencoders using either tanh or relu activation functions is highly explainable by rule extraction, with compact rules consisting of as little as 3 units out of 128 often reaching over 99% accuracy. This shows that rule extraction can be a useful component for explaining parts (or modules) of a deep neural network.

연구 동기 및 목표

• 깊이 있는 신경망을 설명하는 데 도전하는 것. 이는 분산 표현을 가지기 때문에 종종 '블랙박스'로 간주되기 때문이다.
• 규칙 추출이 깊이 있는 네트워크의 은닉 특징에 대해 이해하기 쉬운 정확한 기호적 기술을 생성할 수 있는지 조사하는 것.
• 합성곱 신경망의 다양한 계층에서 규칙의 복잡성과 정확도 사이의 트레이드오프를 평가하는 것.
• 깊이 있는 네트워크의 분산 구조가 규칙 추출을 본질적으로 제한하는가, 아니면 특정 계층은 여전히 기호적 설명에 적합한가를 판단하는 것.
• 규칙 추출을 깊이 학습을 위한 다중 방법 설명 가능성 프레임워크의 구성 요소로 사용할 수 있는지 탐색하는 것.

제안 방법

• 목적 함수에 복잡성 제어를 위한 패널티 항 β를 포함한 M-of-N 규칙 공간에서 병렬 탐색을 수행하여 복잡성과 정확도를 균형 잡는 규칙를 찾는다.
• 규칙는 정확도(네트워크 출력과 일치하는 정도)와 복잡성(관여된 유닛 수) 기반으로 평가된다.
• 알고리즘은 깊이 있는 네트워크의 계층별로 적용되며, 다양한 계층과 활성화 함수 간의 설명 가능성 비교에 중점을 둔다.
• 작은 네트워크에서 결과를 검증하기 위해 최적의 탐색 기반( CORELS )을 사용한 후, 더 큰 모델로 확장한다.
• 규칙 구축을 안내하기 위해 가중치 순서를 가정하여 규칙 공간의 효율적 탐색을 가능하게 한다.
• 다양한 복잡성 패널티를 적용한 결과를 보고하기 위해 MNIST, Fashion-MNIST, Olivetti Faces 데이터셋에 대해 훈련된 여러 CNN에서 평가된다.

실험 결과

연구 질문

• RQ1 M-of-N 규칙 추출은 깊이 있는 합성곱 신경망의 은닉 특징에 대해 정확하고 이해하기 쉬운 기호적 기술을 생성할 수 있는가?
• RQ2 다양한 네트워크 계층의 설명 가능성은 어떻게 비교되는가? 특히 규칙의 복잡성과 정확도 측면에서.
• RQ3 활성화 함수의 선택(예: ReLU, tanh, softmax)이 특정 계층에서의 규칙 추출 성공에 영향을 미치는가?
• RQ4 분산 표현으로 인해 내부 계층에서 규칙 추출에 본질적인 장벽이 존재하는가, 아니면 더 나은 방법으로 이를 극복할 수 있는가?
• RQ5 최종 소프트맥스 계층에서의 규칙 추출이 하이브리드 설명 가능성 프레임워크에서 강력하고 해석 가능한 구성 요소로 기능할 수 있는가?

주요 결과

• ReLU 또는 tanh 활성화를 가지는 깊이 있는 CNN 및 오토에인코드에서 소프트맥스 계층은 매우 높은 설명 가능성을 보이며, 128개 유닛 중 3개만을 사용하는 규칙로도 99% 이상의 정확도를 달성한다.
• Olivetti Faces 데이터셋에서 소프트맥스 계층의 규칙는 β=0일 때 정확도 100%를 기록하며 복잡도는 0.03에 불과했고, β=0.1일 때 정확도는 0.1% 감소하여 0.024로 떨어지며 매우 낮은 정확도 손실을 보였다.
• Fashion-MNIST에서 복잡도는 β=0.1일 때 0.28에서 0.06으로 감소했고, 정확도는 99.3%에서 98.8%로 약간 감소하여, 낮은 정확도 손실로도 높은 해석 가능성과 함께 복잡도를 크게 줄일 수 있음을 보여주었다.
• 깊이 있는 네트워크의 내부 계층은 규칙 추출 성능이 열악하여 분산 표현을 기호적 규칙으로 설명하는 데 본질적인 제약가 존재함을 시사한다.
• 이 방법은 규칙 추출의 지도를 성공적으로 매핑하여, 복잡성 패널티(β)를 증가시킬수록 규칙 크기가 크게 감소하고 정확도 손실은 미미함을 드러냈다.
• 초기 결과에서는 출력 계층에서 유도된 M-of-N 규칙이 원본 CNN보다 FGSM 적대적 공격에 더 강건했으며, 1000개의 적대적 예제 중 376개가 정확하게 분류되었다.