[논문 리뷰] Identifying Interpretable Subspaces in Image Representations

Neha Kalibhat, Shweta Bhardwaj외 4명|arXiv (Cornell University)|2023. 07. 20.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

FALCON은 사전 훈련된 시각-언어 모델에서 대조적 캡션을 사용하여 딥 이미지 표현 특징을 자동으로 설명하는 모델에 종속되지 않는 프레임워크이다. CLIP 임베딩과 자연어 캡션을 통해 고활성 및 저활성 활성화를 보이는 이미지 조각을 분석함으로써, 공통의 인간이 이해할 수 있는 개념을 식별한다. 이는 개별 특징보다 그룹 단위로 특징을 해석할 경우 훨씬 더 해석 가능한 표현을 얻을 수 있음을 보여준다.

ABSTRACT

We propose Automatic Feature Explanation using Contrasting Concepts (FALCON), an interpretability framework to explain features of image representations. For a target feature, FALCON captions its highly activating cropped images using a large captioning dataset (like LAION-400m) and a pre-trained vision-language model like CLIP. Each word among the captions is scored and ranked leading to a small number of shared, human-understandable concepts that closely describe the target feature. FALCON also applies contrastive interpretation using lowly activating (counterfactual) images, to eliminate spurious concepts. Although many existing approaches interpret features independently, we observe in state-of-the-art self-supervised and supervised models, that less than 20% of the representation space can be explained by individual features. We show that features in larger spaces become more interpretable when studied in groups and can be explained with high-order scoring concepts through FALCON. We discuss how extracted concepts can be used to explain and debug failures in downstream tasks. Finally, we present a technique to transfer concepts from one (explainable) representation space to another unseen representation space by learning a simple linear transformation. Code available at https://github.com/NehaKalibhat/falcon-explain.

연구 동기 및 목표

• 인간 주석 데이터셋이나 수동 검토 없이도 딥 이미지 표현의 특징을 자동으로, 확장 가능하게 해석할 수 있는 방법을 개발하는 것.
• 기존 방법이 특징을 개별적으로 해석하는 데에 한계가 있다는 점을 해결하기 위해, 그룹 단위 특징 분석이 더 해석 가능하고 강건한 설명을 제공함을 보여주는 것.
• 저활성화(대조적) 이미지를 사용하여 임의의 개념을 걸러내는 대조적 설명을 가능하게 하는 것.
• 간단한 선형 변환을 통해 다양한 사전 훈련된 시각 모델 간에 학습된 개념을 재사용할 수 있도록 하는 것.
• 자기지도 학습 및 지도 학습 모델이 유사한 고수준 개념을 인코딩함을 보여주어, 아키텍처 간 공통의 표현 불변성의 가능성을 제시하는 것.

제안 방법

• 목표 특징에 대해 FALCON은 기울기 기반의 시각화 지도를 사용하여 프로브 데이터셋(예: ImageNet)에서 고활성 이미지를 식별한다.
• 이 이미지들에서 시각적 중요 영역을 잘라내고, 각 조각에 대해 CLIP 이미지 임베딩을 계산한다.
• 큰 캡션 데이터셋(예: LAION-400M)을 사용하여 코사인 유사도를 통해 각 잘라낸 이미지 임베딩과 가장 유사한 텍스트 임베딩을 매칭하여 상위 캡션을 검색한다.
• 캡션에서 단어들을 단어 점수 기반 메커니즘을 사용해 점수 매기고 순위를 매김으로써, 공통적이며 인간이 이해할 수 있는 개념을 식별하는 개념 추출 모듈을 운영한다.
• 대조적 설명을 위해 저활성화(대조적) 이미지도 캡션화하고, 이들에서 자주 나타나는 개념을 걸러내어 임의의 연관성을 줄인다.
• 원천 표현 공간(예: SimCLR)에서의 개념을 새로운 타겟 공간(예: MoCo)으로 매핑하기 위해 선형 변환을 학습함으로써, 모델 간 설명 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 인간 주석 데이터 없이도 딥 이미지 표현의 개별 특징에 대해 자동으로 인간이 이해할 수 있는 자연어 설명을 생성할 수 있는가?
• RQ2 해석 가능성과 강건성 측면에서, 그룹 단위 특징 해석은 개별 특징 해석보다 어떻게 다른가?
• RQ3 저활성화 이미지를 사용한 대조적 설명은 임의의 또는 관련 없는 개념을 효과적으로 걸러낼 수 있는가?
• RQ4 한 사전 훈련된 시각 모델에서 추출한 개념이 선형 변환을 통해 다른 알려지지 않은 모델로 얼마나 잘 전이될 수 있는가?
• RQ5 자기지도 학습 및 지도 학습 모델이 유사한 고수준 개념을 인코딩하는가? 이는 아키텍처 간 공통의 표현 전이 불변성의 가능성을 시사하는가?

주요 결과

• 최신 자기지도 학습 및 지도 학습 모델의 표현 공간에서 20퍼센트 미만의 특징만이 개별 특징에 의해 의미 있게 설명될 수 있으며, 이는 단변량 해석의 한계를 시사한다.
• 그룹 단위 특징 분석은 해석 가능성의 수준을 크게 향상시키며, 개별 특징만으로 표현할 수 없는 고차원의 다면적 개념을 발견할 수 있도록 한다.
• 대조적 설명은 임의의 개념을 효과적으로 걸러내어 추출된 설명의 신뢰성과 정확도를 향상시킨다.
• 학습된 선형 변환을 통해 원천 모델(예: SimCLR)에서의 개념을 알려지지 않은 타겟 모델(예: MoCo)으로 성공적으로 전이시키며, 타겟 모델에서 고활성화되는 이미지들이 원래의 개념과 밀접하게 일치함을 확인하였다.
• FALCON는 자기지도 학습과 지도 학습을 통해 훈련된 모델이 대부분 유사한 고수준 개념을 인코딩하고 있음을 식별하였으며, 이는 아키텍처 간 공통의 표현 전이 사전 지식이 있음을 시사한다.
• 이 방법은 확장 가능하고 자동화된 특징 해석을 가능하게 하여, 분류, 객체 검출, 세그멘테이션과 같은 후속 작업에서 디버깅 및 분석을 지원한다.