[논문 리뷰] LioNets: Local Interpretation of Neural Networks through Penultimate Layer Decoding

Ioannis Mollas, Nikolaos Bassiliades외 1명|arXiv (Cornell University)|2019. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 13

한 줄 요약

LioNets는 딥 네URAL 네트워크의 국소적 설명 방법을 제안하며, 최전단층의 잠재 공간에서 이웃 인스턴스를 생성함으로써 더 나은 특징 인접성과 충실도를 보장한다. 이론적으로 이웃 인스턴스를 원래 입력 공간에서 생성하는 것과는 달리, 이 방법은 최전단층의 잠재 표현에서 이웃을 생성함으로써 더 정확하고 안정적인 설명을 제공한다. 특히 NLP 작업에서 미세한 특징 중요도 변화를 보다 잘 포착할 수 있다.

ABSTRACT

Technological breakthroughs on smart homes, self-driving cars, health care and robotic assistants, in addition to reinforced law regulations, have critically influenced academic research on explainable machine learning. A sufficient number of researchers have implemented ways to explain indifferently any black box model for classification tasks. A drawback of building agnostic explanators is that the neighbourhood generation process is universal and consequently does not guarantee true adjacency between the generated neighbours and the instance. This paper explores a methodology on providing explanations for a neural network's decisions, in a local scope, through a process that actively takes into consideration the neural network's architecture on creating an instance's neighbourhood, that assures the adjacency among the generated neighbours and the instance.

연구 동기 및 목표

• 입력 공간에서의 희박한 변형으로 인해 인접성이 떨어질 수 있는 모델 무관형 국소 설명기(LIME 등)의 한계를 해결한다.
• 최전단층의 조밀한 잠재 표현에서 이웃을 생성함으로써 설명의 충실도와 국소성 향상을 도모한다.
• 신경망의 학습된 표현을 활용하여 생성된 이웃가 원본 인스턴스와 의미적·구조적으로 더 가까워지도록 보장한다.
• 딥 네URAL 네트워크의 아키텍처 인덕티브 바이어스를 유지함으로써 더 신뢰할 수 있고 강건한 국소적 설명을 도출한다.
• 기존 최첨단 방법(LIME 등)과 비교해 더 정확하고 안정적인 특징 중요도 추정이 가능함을 입증한다.

제안 방법

• 기존 입력 공간이 아닌 훈련된 신경망의 최전단층에서 국소 이웃을 구성한다.
• 최전단층 표현에서 원본 입력 예제를 재구성할 수 있도록 디코더 네트워크를 훈련시어, 변동형 오토인코더 유사 구조를 형성한다.
• 디코더를 사용해 변형된 잠재 표현을 다시 입력 공간으로 매핑함으로써 원래 특징 공간에서의 해석을 가능하게 한다.
• 원본 신경망의 예측 결과(클래스 확률)와 함께 복원된 이웃들을 조합하여 오라클 데이터셋을 구성한다.
• 오라클 데이터셋을 기반으로 투명하고 해석 가능한 모델(예: 릿지 회귀)을 훈련시어 특징 중요도 가중치를 추출한다.
• 기본 인스턴스의 특징 값에 따라 계수를 스케일링함으로써 특징별 기여도를 계산하여 직관적이고 인스턴스 기반의 설명을 도출한다.

실험 결과

연구 질문

• RQ1 신경망의 최전단층에서 이웃 인스턴스를 생성하는 것이 입력 공간을 훼손하는 것보다 더 충실하고 정확한 국소적 설명을 이끌 수 있는가?
• RQ2 잠재 공간에서 입력 공간으로 복원하는 데 사용된 학습된 디코더가 이웃과 원본 인스턴스 사이의 거리(인접성)를 더 잘 유지하는가?
• RQ3 희박한 데이터(예: 텍스트)에서 LioNets는 LIME보다 더 미세한, 맥락 의존적인 특징 중요도 변화를 얼마나 잘 포착하는가?
• RQ4 입력 공간의 변형 대비 잠재 공간 표현이 더 대표적이고 조밀한 이웃를 생성하는 데 얼마나 기여하는가?
• RQ5 이 방법은 NLP 응용 분야에서 깊이 있는 신경망 결정의 해석 가능성성을 향상시키면서도 높은 충실도를 유지할 수 있는가?

주요 결과

• LioNets는 ablation 연구와의 일관성 있는 일치를 통해 LIME보다 더 정확한 특징 중요도 설명을 제공한다. 예를 들어, 'are'나 'wife'와 같은 특징을 제거하면 각각 'hate' 또는 'spam' 클래스에 대한 모델 예측 확률이 감소하는 경향을 보였다.
• LioNets가 최전단층의 잠재 공간에서 생성한 이웃는 원본 인스턴스와의 유클리드 거리가 0.2163으로, LIME의 원래 공간 이웃(0.3961)보다 훨씬 작다. 이는 더 나은 인접성을 의미한다.
• 원래 공간으로 복원된 후 LioNets 이웃는 LIME 이웃보다 약간 더 먼 거리(0.7635)를 보이지만, 이는 이웃가 의미적·구조적 인접성을 유지하는 공간에서 생성되었기 때문에 여전히 유의미하다.
• LIME가 생성할 수 있는 고유한 이웃의 수가 제한되어 있어, LioNets는 희박하고 고차원적인 데이터(예: 텍스트)에서 LIME가 놓칠 수 있는 미세한 특징 중요도 변화를 포착할 수 있다.
• 최전단층에서 훈련된 디코더를 활용함으로써, 더 크고 조밀하며 더 대표적인 이웃 집합이 잠재 공간에서 생성되어, 투명한 모델의 훈련에 대한 강건성이 향상된다.
• 혐오 발언 및 SMS 스팸 데이터셋 양측에서 LioNets의 설명은 ablation 결과와 더 일관되고 안정적이었으며, 이는 특징 기여도 추정의 신뢰성을 확인한다.