[논문 리뷰] B-cos Networks: Alignment is All We Need for Interpretability

Moritz Böhle, Mario Fritz외 1명|arXiv (Cornell University)|2022. 05. 20.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 표준 선형 변환을 대체하여 훈련 중에 가중치-입력 일치를 강제하는 새로운 B-cos 변환을 도입함으로써 딥 네ural 네트워크의 해석 가능성성을 향상시키는 B-cos 네트워크를 제안한다. B-cos 변환은 전체 네트워크를 단일 선형 요약으로 표현함으로써 인간이 이해할 수 있는 정확한 설명을 가능하게 하며, ResNet, VGG, DenseNet 등의 다양한 아키텍처에서 경쟁력 있는 ImageNet 성능 유지를 유지하면서도 고품질의 시각적 설명을 제공한다.

ABSTRACT

We present a new direction for increasing the interpretability of deep neural networks (DNNs) by promoting weight-input alignment during training. For this, we propose to replace the linear transforms in DNNs by our B-cos transform. As we show, a sequence (network) of such transforms induces a single linear transform that faithfully summarises the full model computations. Moreover, the B-cos transform introduces alignment pressure on the weights during optimisation. As a result, those induced linear transforms become highly interpretable and align with task-relevant features. Importantly, the B-cos transform is designed to be compatible with existing architectures and we show that it can easily be integrated into common models such as VGGs, ResNets, InceptionNets, and DenseNets, whilst maintaining similar performance on ImageNet. The resulting explanations are of high visual quality and perform well under quantitative metrics for interpretability. Code available at https://www.github.com/moboehle/B-cos.

연구 동기 및 목표

• 성능 저하 없이 딥 네럴 네트워크를 본질적으로 해석 가능하게 만들기 위한 과제를 해결하기 위해.
• 훈련 중 가중치 갱신을 구조적으로 제약함으로써 모델에 충실하고 인간이 이해할 수 있는 설명을 생성하는 방법을 개발하기 위해.
• 최종 출력과 중간 신경망 뉴런에 대해 단일 통합 선형 요약을 사용하여 고품질의 시각적 설명을 가능하게 하기 위해.
• ResNet, VGG, InceptionNet, DenseNet과 같은 기존 딥 러닝 아키텍처와의 호환성을 확보하기 위해.
• 해석 가능성성과 모델 정확도가 후행적 설명 기법이 아닌 구조적 설계를 통해 공존할 수 있음을 입증하기 위해.

제안 방법

• B-cos 변환은 가중치를 정규화하고 입력에 따라 변하는 스케일링 인자를 적용함으로써 표준 선형 레이어를 대체하며, 학습된 가중치와 임계 입력 패턴 간의 일치를 촉진한다.
• 이 변환은 B-cos 레이어의 임의의 시퀀스를 단일 선형 변환 W₁→L(x)로 요약할 수 있도록 보장하여, 주어진 입력에 대해 전체 모델 계산을 충실하게 반영한다.
• 변환은 입력에 따라 변하는 방식으로 설계되어 최적화 과정에서 일치 압력을 유도하며, 가중치가 주요 입력 특징과 일치하도록 유도한다.
• 설명은 유도된 선형 변환 W₁→L(x)를 기반으로 한 역전파 기반의 중요도 맵을 사용하여 생성되며, 각 입력 픽셀이 최종 예측에 기여하는 정도를 시각화한다.
• B-cos 변환은 완전히 연결된 레이어와 컨볼루션 레이어에 대한 즉각적인 교체로 설계되어 아키텍처 변경 최소화가 가능하다.
• B-cos 변환의 파라미터 B는 가중치-입력 일치 정도를 세밀하게 제어할 수 있게 하여 해석 가능성의 조정이 가능하다.

실험 결과

연구 질문

• RQ1 선형 레이어에 대한 구조적 수정이 성능 저하 없이 딥 네럴 네트워크의 해석 가능성을 향상시킬 수 있는가?
• RQ2 단일 선형 변환으로 전체 딥 네트워크 계산을 충실하고 해석 가능한 방식으로 요약할 수 있는가?
• RQ3 훈련 중에 가중치-입력 일치를 강제하면 더 의미 있고 시각적으로 일관된 설명이 도출되는가?
• RQ4 B-cos 변환이 ResNet, VGG, DenseNet과 같은 다양한 아키텍처에 원활하게 통합되어 정확도를 유지할 수 있는가?
• RQ5 후행적 설명 기법과 비교했을 때 B-cos 방법은 충실도와 시각적 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• B-cos 네트워크는 기준 모델과 비교해 ImageNet top-1 정확도가 1-2% 이내로 경쟁적인 성능을 유지하면서도 매우 해석 가능하고 시각적으로 일관된 설명을 제공한다.
• 유도된 선형 변환 W₁→L(x)는 전체 네트워크 계산을 충실하게 요약하여 최종 출력뿐만 아니라 중간 레이어 뉴런의 설명도 가능하게 한다.
• DenseNet-121의 87번째 레이어에서의 개별 뉴런 설명은 높은 특이성을 보이며, 얼굴, 눈, 바퀴, 심지어 워터마크와 같은 의미 있는 개념을 안정적으로 강조한다.
• 모델의 예측 불확실성은 시각적으로 설명 가능하다: 차이 맵(Δ-설명)은 상위 두 예측 클래스 간의 공통적이고 상반된 증거를 드러낸다.
• 정규화 및 스케일링으로 인해 훈련 및 추론 시간이 최대 60% 증가하지만, 최적화된 구현을 통해 이 오버헤드는 향후 감소할 것으로 예상된다.
• 모든 테스트된 아키텍처에서 기존의 후행적 설명 기법보다 정량적 지표와 정성적 평가 모두에서 뛰어난 성능을 보였다.