[논문 리뷰] CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks

Tuomas Oikarinen, Tsui-Wei Weng|arXiv (Cornell University)|2022. 04. 23.

Cell Image Analysis Techniques인용 수 9

한 줄 요약

CLIP-Dissect는 훈련이 필요하지 않고 모델에 종속되지 않는 방법으로, CLIP와 같은 사전 훈련된 시각-언어 모델을 사용하여 딥 뷰션 네트워크의 개별 뉴런의 기능적 개념을 자동으로 기술한다. 이 방법은 최종 레이어 뉴런의 레이블링에서 최신 기술 수준의 정확도를 달성하며, 이전 방법보다 10배 이상 빠르게 작동하여 ResNet-50의 모든 뉴런을 4분 이내로 분석할 수 있다.

ABSTRACT

In this paper, we propose CLIP-Dissect, a new technique to automatically describe the function of individual hidden neurons inside vision networks. CLIP-Dissect leverages recent advances in multimodal vision/language models to label internal neurons with open-ended concepts without the need for any labeled data or human examples. We show that CLIP-Dissect provides more accurate descriptions than existing methods for last layer neurons where the ground-truth is available as well as qualitatively good descriptions for hidden layer neurons. In addition, our method is very flexible: it is model agnostic, can easily handle new concepts and can be extended to take advantage of better multimodal models in the future. Finally CLIP-Dissect is computationally efficient and can label all neurons from five layers of ResNet-50 in just 4 minutes, which is more than 10 times faster than existing methods. Our code is available at https://github.com/Trustworthy-ML-Lab/CLIP-dissect. Finally, crowdsourced user study results are available at Appendix B to further support the effectiveness of our method.

연구 동기 및 목표

• 개념 탐지에 비용이 많이 들고 인간이 애너테이션한 데이터셋이 필요한 기존 뉴런 해석 방법의 한계를 해결하기 위해.
• 고정된 개념 세트나 픽셀 수준의 애너테이션에 의존하지 않고, 자동으로 개방형 레이블링을 가능하게 하기 위해.
• 계산적으로 효율적이고 유연한 방법을 개발하여 대규모 모델에 스케일업하고 향후 다중모odal 모델에 적응할 수 있도록 하기 위해.
• 뉴럴 네트워크 표현의 구조적 통찰을 발견하기 위해, 예를 들어 가중치 크기와 개념 유사성 간의 관계를 밝혀내기 위해.

제안 방법

• CLIP-Dissect는 사전 훈련된 CLIP 모델을 활용하여 입력 이미지와 뉴런 활성화 패턴을 공통의 텍스트-이미지 임베딩 공간에 매핑한다.
• 각 뉴런에 대해 최고로 활성화되는 이미지를 식별하고, CLIP를 사용하여 뉴런의 기능에 대한 개방형 텍스트 기술을 생성한다.
• CLIP로 임베딩된 뉴런 활성화 패턴과 CLIP로 임베딩된 텍스트 프롬프트 간의 유사도를 계산하여 가장 의미적으로 일치하는 개념 레이블을 찾는다.
• 이 방법은 완전히 추론 기반이며, 미세조정이나 훈련 데이터가 필요로 하지 않아 모델에 종속되지 않고 확장 가능하다.
• 노이즈와 이방값에 대한 강건성을 확보하기 위해 각 뉴런당 상위-k 활성화 통계를 사용하여 대표 이미지를 선택한다.
• 새로운 개념에 쉽게 확장 가능하며, 향후 더 나은 시각-언어 모델이 제공될 경우 이를 향상시키는 데도 활용할 수 있다.

실험 결과

연구 질문

• RQ1 CLIP와 같은 시각-언어 모델을 사용하여 레이블이 없는 데이터나 인간의 애너테이션된 개념 없이도 뉴런 기능을 자동으로 기술할 수 있는가?
• RQ2 기본 지식이 있는 지정된 개념으로 최종 레이어 뉴런을 레이블링할 때, CLIP-Dissect는 Network Dissection나 MILAN과 같은 기존 방법보다 정확도가 높은가?
• RQ3 딥 네트워크에서 연결 가중치의 크기와 뉴런 개념 간의 의미적 유사성 간의 상관관계는 어느 정도인가?
• RQ4 CLIP-Dissect는 기존의 프로빙 데이터셋인 Broden에 포함되지 않은 개념을 탐지할 수 있는가?
• RQ5 기존의 뉴런 해석 기법에 비해 CLIP-Dissect의 계산 효율성은 어떠한가?

주요 결과

• CLIP-Dissect는 기존의 Network Dissection와 MILAN보다 최종 레이어 뉴런 레이블링에서 더 높은 정확도를 달성한다.
• 이 방법은 ResNet-50의 다섯 레이어에 있는 모든 뉴런을 단 4분 만에 레이블링할 수 있으며, 이는 이전 방법보다 10배 이상 빠른 속도이다.
• 뉴런 간 연결 가중치의 크기와 그들이 인코딩한 개념의 의미적 유사성 간에 강한 상관관계(r = 0.258, p < 10−300)가 존재한다.
• 높은 가중치로 연결된 뉴런들은 일반적으로 매우 유사한 개념을 표현하므로, 최종 레이어 표현은 이미 매우 국소화되어 있고 의미적으로 일관성이 있다는 것을 시사한다.
• Broden 데이터셋에 포함되지 않은 개념을 성공적으로 탐지하여, 고정된 개념 세트를 넘어서 일반화할 수 있음을 입증한다.
• CLIP-Dissect는 네트워크 아키텍처에 대한 새로운 통찰을 제공하며, 예를 들어 높은 가중치 연결이 자주 유사한 개념을 인코딩하는 뉴런들을 연결한다는 관찰을 가능하게 한다.