[논문 리뷰] Don't trust your eyes: on the (un)reliability of feature visualizations

Robert Geirhos, R. Zimmermann외 3명|arXiv (Cornell University)|2023. 06. 07.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

이 논문은 신경망 내의 특징 시각화의 신뢰성을 도전하며, '혼란 회로'를 통해 모델의 정확도를 유지하면서도 임의의 무의미한 패턴을 표시하도록 특징 시각화를 조작할 수 있음을 보여준다. 저자들은 특징 시각화가 자연 이미지와 다르게 처리된다는 점을 입증하여, 네트워크 행동을 해석하는 데의 활용을 의심하게 하고, 활성도 최대화를 통해 신뢰성 있게 시각화할 수 있는 함수의 수가 매우 작다는 이론적 증거를 제시한다. 이는 해석 가능성 향상을 위해 구조적 인도적 편향을 강제로 반영한 네트워크 설계가 필요하다는 것을 시사한다.

ABSTRACT

How do neural networks extract patterns from pixels? Feature visualizations attempt to answer this important question by visualizing highly activating patterns through optimization. Today, visualization methods form the foundation of our knowledge about the internal workings of neural networks, as a type of mechanistic interpretability. Here we ask: How reliable are feature visualizations? We start our investigation by developing network circuits that trick feature visualizations into showing arbitrary patterns that are completely disconnected from normal network behavior on natural input. We then provide evidence for a similar phenomenon occurring in standard, unmanipulated networks: feature visualizations are processed very differently from standard input, casting doubt on their ability to "explain" how neural networks process natural images. This can be used as a sanity check for feature visualizations. We underpin our empirical findings by theory proving that the set of functions that can be reliably understood by feature visualization is extremely small and does not include general black-box neural networks. Therefore, a promising way forward could be the development of networks that enforce certain structures in order to ensure more reliable feature visualizations.

연구 동기 및 목표

• 특징 시각화가 널리 사용되어 왔지만, 신경망 행동을 해석하는 데에 체계적으로 속일 수 있는가를 조사하기 위해.
• 자연 이미지와의 처리 방식 차이를 바탕으로 특징 시각화의 신뢰성 검증을 위한 사전 검증 절차를 개발하기 위해.
• 표준 방법을 사용할 경우 신뢰성 있게 시각화할 수 있는 함수의 범주가 매우 제한되어 있음을 이론적으로 입증하기 위해.
• 더 신뢰할 수 있는 시각화를 보장하기 위해 구조적 인도적 편향을 강제로 반영한 신경망 아키텍처 개발을 촉진하기 위해.

제안 방법

• 모델의 정확도에 영향을 주지 않으면서도 특징 시각화 출력을 임의의 관련 없는 패턴으로 유도하는 전용 네트워크 모듈인 '혼란 회로'를 설계하고 구현하기 위해.
• 이러한 회로를 포함한 수정된 Inception-V1과 ResNet-50을 훈련하여, 특징 시각화가 의도한 대로 제어될 수 있음을 입증하기 위해.
• 자연 이미지와 특징 시각화의 처리 경로를 비교함으로써 네트워크 내부 표현의 이질성을 드러내는 사전 검증 절차를 수행하기 위해.
• 활성도 최대화를 통해 내부 표현을 신뢰성 있게 시각화할 수 있는 함수의 집합이 매우 작다는 것을 이론적으로 증명하기 위해.
• empirical 비교를 통해 특징 시각화가 자연 입력과 다르게 처리된다는 점을 보여주어, 그것이 네트워크의 진정한 인도적 편향을 반영하지는 않음을 시사하기 위해.
• 향후 해석 가능성 연구는 신뢰성 있는 시각화를 보장하기 위해 강제로 구조적 사전 지식을 반영한 아키텍처 설계에 초점을 맞춰야 한다고 제안하기 위해.

실험 결과

연구 질문

• RQ1 특징 시각화를 의도적으로 조작하여 자연 데이터에서의 모델 정확도를 유지하면서도 임의의 관련 없는 패턴을 표시할 수 있는가?
• RQ2 표준 신경망에서 특징 시각화는 자연 이미지와 어떻게 다른 방식으로 내부적으로 처리되는가?
• RQ3 일반적인 깊은 신경망을 해석하는 데 있어 특징 시각화의 신뢰성에 제약을 가하는 이론적 요건은 무엇인가?
• RQ4 처리 경로의 이질성에 기반한 단순한 사전 검증 절차는 얼마나 신뢰할 수 없는 시각화를 탐지할 수 있는가?
• RQ5 아키텍처 설계 선택을 통해 활성도 최대화의 이론적 한계를 극복할 수 있는가?

주요 결과

• 혼란 회로를 통해 특징 시각화를 조작하여 몬라 리자 같은 임의의 패턴을 표시할 수 있으며, 동시에 네트워크는 원래의 ImageNet 정확도를 유지한다.
• 수정되지 않은 네트워크에서도 특징 시각화는 자연 이미지와 근본적으로 다른 경로를 따라 처리되며, 이는 해석 가능성에 대한 의심을 불러일으킨다.
• 이론적 분석을 통해 표준 활성도 최대화 방법을 사용할 경우, 신경망 함수의 극히 미미한 비율만이 신뢰성 있게 시각화될 수 있음을 입증한다. 이는 온건한 가정 하에서도 마찬가지다.
• empirical 결과는 특징 시각화와 자연 이미지가 다른 내부 표현을 활성화한다는 점을 보여주며, 이는 둘이 동일한 인도적 편향을 반영하지는 않음을 시사한다.
• 제안된 사전 검증 절차는 처리 방식의 상당한 차이를 탐지하여, 시각화가 기계적 해석에 신뢰할 수 없다는 것을 시사한다.
• 이러한 발견들은 향후 해석 가능성 방법론이 신뢰성 있는 시각화를 보장하기 위해 강제로 구조적 인도적 편향을 반영한 아키텍처를 기반으로 설계되어야 한다는 것을 암시한다.