[논문 리뷰] The SVD of Convolutional Weights: A CNN Interpretability Framework

Brenda Praggastis, Davis Brown외 4명|arXiv (Cornell University)|2022. 08. 14.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 4차원 합성곱 필터를 2차원 행렬로 전개하여 합성곱 신경망(CNN) 가중치 텐서에 대한 새로운 특이값 분해(SVD) 프레임워크를 제안한다. 이는 필터 간 상관관계를 해석하고 분류를 이끄는 핵심 입력 특징을 규명할 수 있게 하며, 주요 특이벡터를 통해 분류 기준이 되는 특징을 드러내고, 초그래프 기반의 의미적 계층을 구축한다. 이는 무작위 행렬 이론을 통한 검증과 함께, CIFAR-10 및 ImageNet에서 VGG-16 모델을 대상으로 DeepDataProfiler 라이브러리를 사용하여 구현되었다.

ABSTRACT

Deep neural networks used for image classification often use convolutional filters to extract distinguishing features before passing them to a linear classifier. Most interpretability literature focuses on providing semantic meaning to convolutional filters to explain a model's reasoning process and confirm its use of relevant information from the input domain. Fully connected layers can be studied by decomposing their weight matrices using a singular value decomposition, in effect studying the correlations between the rows in each matrix to discover the dynamics of the map. In this work we define a singular value decomposition for the weight tensor of a convolutional layer, which provides an analogous understanding of the correlations between filters, exposing the dynamics of the convolutional map. We validate our definition using recent results in random matrix theory. By applying the decomposition across the linear layers of an image classification network we suggest a framework against which interpretability methods might be applied using hypergraphs to model class separation. Rather than looking to the activations to explain the network, we use the singular vectors with the greatest corresponding singular values for each linear layer to identify those features most important to the network. We illustrate our approach with examples and introduce the DeepDataProfiler library, the analysis tool used for this study.

연구 동기 및 목표

• 활성화 기반 방법을 초월하여 합성곱층의 선형 역학을 분석함으로써 CNN의 해석 가능성 부족 문제를 해결한다.
• 텐서 전개를 활용한 수학적으로 타당한 4차원 합성곱 가중치 텐서를 위한 SVD 정의를 제시하며, 공유 가중치 의미를 유지한다.
• 주요 특이벡터와 관련된 가장 중요한 입력 특징을 규명하여 모델 행동을 입력 도메인 의미론과 연결한다.
• 특이벡터와 특이값에서 파생된 초그래프를 사용하여 클래스 간 분리와 특징의 관련성 모델링을 수행한다.
• SVD 기반 CNN 해석 가능성에 적합한 DeepDataProfiler 라이브러리 개발 및 검증

제안 방법

• 공간적 및 필터 관계를 유지하면서 4차원 합성곱 가중치 텐서를 등장사상 임bedding을 통해 2차원 행렬로 전개한다.
• 전개된 행렬에 표준 SVD(M = USV^T)를 적용하여 입력 특징 상관관계를 나타내는 특이벡터와 특이값을 추출한다.
• 가장 큰 특이값을 가진 상위 특이벡터를 입력 도메인에서 가장 영향력 있는 특징의 지표로 사용한다.
• 특이벡터와 목표 클래스 간의 관계를 모델링하기 위해 초그래프를 구축하며, 특징 중요도 임계값을 제어하는 파라미터를 포함한다.
• 그램 행렬 분석과의 이론적 일관성 및 완전히 연결된 층에서의 무작위 행렬 이론과의 경험적 일치를 통해 전개 방법을 검증한다.
• Jupyter 노트북과 Streamlit 앱을 포함한 시각화 및 분석을 위한 DeepDataProfiler(DDP) 라이브러리에 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 4차원 합성곱 가중치 텐서에 대해 특이값 분해를 의미 있게 확장하여 잠재된 선형 역학을 드러내는 방법은 무엇인가?
• RQ2 합성곱층의 주요 특이벡터와 분류에 가장 영향을 미치는 입력 특징 간의 관계는 무엇인가?
• RQ3 전개된 합성곱 가중치 행렬의 스펙트럼 특성은 무작위 행렬 이론의 알려진 결과와 어떻게 일치하는가?
• RQ4 특이벡터에서 유도된 초그래프는 CNN에서 클래스 간 분리와 특징의 의미적 계층을 효과적으로 모델링할 수 있는가?
• RQ5 이 SVD 기반 프레임워크는 활성화 기반 할당 방법에 비해 해석 가능성 향상에 어느 정도 기여하는가?

주요 결과

• 4차원 합성곱 가중치 텐서에 대한 제안된 전개 방법은 컨volution의 구조적 특성과 공유 가중치 의미를 유지하면서도 SVD 적용을 가능하게 한다.
• 전개된 가중치 행렬의 주요 특이벡터는 네트워크가 가장 강하게 관련시키는 입력 특징을 나타내며, 이를 증가시키거나 억제한다.
• 이 프레임워크는 해석 가능한 특징 시각화를 생성한다. 특히 ImageNet으로 훈련된 VGG-16에선 생물학적 객체에 대해 부드러운 윤곽, 인공 구조물에 대해선 날카로운 특징을 명확히 드러낸다.
• 중요한 특이벡터에서 유도된 초그래프는 특징의 계층적 구조를 드러내며, 높은 층에서 더 추상적이고 클래스에 특화된 패tern을 포착한다.
• 특히 완전히 연결된 층의 공분산 행렬 스펙트럼 분포와의 일치를 통해 무작위 행렬 이론과의 경험적 일치를 통해 방법의 타당성이 검증되었다.
• DeepDataProfiler 라이브러리는 CIFAR-10 및 ImageNet에서 VGG-16에 대해 SVD 기반 해석 가능성의 엔드 투 엔드 분석—초그래프 구축 및 특징 시각화 포함—을 성공적으로 지원한다.