[논문 리뷰] Make it SING: Analyzing Semantic Invariants in Classifiers

Harel Yadid, Meir Yossef Levi외 2명|arXiv (Cornell University)|2026. 03. 15.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

SING는 분류기의 null-space 불변성을 CLIP 기반 시각-언어 공간에 매핑하여 사람이 읽을 수 있는 의미론적 설명을 생성하고, 모델, 클래스 및 이미지 수준 분석과 아키텍처 간 비교를 가능하게 한다.

ABSTRACT

All classifiers, including state-of-the-art vision models, possess invariants, partially rooted in the geometry of their linear mappings. These invariants, which reside in the null-space of the classifier, induce equivalent sets of inputs that map to identical outputs. The semantic content of these invariants remains vague, as existing approaches struggle to provide human-interpretable information. To address this gap, we present Semantic Interpretation of the Null-space Geometry (SING), a method that constructs equivalent images, with respect to the network, and assigns semantic interpretations to the available variations. We use a mapping from network features to multi-modal vision language models. This allows us to obtain natural language descriptions and visual examples of the induced semantic shifts. SING can be applied to a single image, uncovering local invariants, or to sets of images, allowing a breadth of statistical analysis at the class and model levels. For example, our method reveals that ResNet50 leaks relevant semantic attributes to the null space, whereas DinoViT, a ViT pretrained with self-supervised DINO, is superior in maintaining class semantics across the invariant space.

연구 동기 및 목표

• 분류기의 null space에 있는 불변성이 의미 정보를 담고 있음을 동기부여하고 정량화한다.
• null-space 방향을 인간이 읽을 수 있는 개념으로 변환하는 프레임워크를 CLIP 기반의 시각-언어 공간에서 개발한다.
• 단일 이미지 및 데이터셋 전체 분석을 통해 아키텍처와 클래스 간의 의미적 누출을 비교한다.
• 오염된 상관관계(Spurious correlations)를 진단하고 오픈-보캐뉼라 개념 민감성을 탐색하는 도구를 제공한다.
• 모델 설계 및 미세조정 중 null-space 의미를 제어할 방향을 제시한다.

제안 방법

• 최종 선형 계층을 SVD로 분해하여 주성분 공간과 널 넓이를 분리한다.
• 선형 번역자 T를 학습시켜 분류기 특성을 CLIP 이미지 임베딩으로 매핑한다.
• 특징 벡터에서 널-스페이스 구성요소를 제거하여 등가 특징 쌍을 구성한다.
• 등가 특징을 CLIP 공간으로 변환하여 의미 설명과 시각화를 얻는다.
• CLIP 공간의 각도에 기반한 AS(Attribute Score)와 IS(Image Score) 지표를 정의하여 의미 누출 및 불변성 품질을 정량화한다.
• 텍스트 프롬프트에 의해 안내되는 널 공간에서의扰 perturbations를 적용하여 의미 Steering 및 누출을 연구한다.

실험 결과

연구 질문

• RQ1 모델의 불변(널) 공간에 담긴 의미 정보를 어떻게 정량화할 수 있는가?
• RQ2 어떤 아키텍처가 ImageNet 클래스들 간에 널 공간으로 클래스 관련 의미 정보를 덜 누출하는가?
• RQ3 오픈-보캐뉼라 개념이 클래스 또는 이미지 수준에서 오염된 상관관계나 강건성을 드러내는가?
• RQ4 라인 logits를 바꾸지 않으면서 널-스페이스 조작이 의미에 어떤 영향을 미치는가? 훈련 중 이를 완화할 수 있는가?
• RQ5 다른 모델들은 불변 공간 내에서 클래스 의미를 보존하는 면에서 어떻게 비교되는가?

주요 결과

모델	AS (|AS| 목표 프롬프트 젤리피시 방향으로)
ResNet50	12.04 ± 0.25
EfficientNet	12.38 ± 0.52
BiTResNet	9.19 ± 0.31
DinoViT	5.00 ± 0.59
ResNext101	11.15 ± 0.53

• DinoViT는 널 공간에서 클래스 의미를 유지하면서 배경이나 색상처럼 광범위한 불변성을 허용하는 최적의 트레이드오프를 보여준다.
• 모델 전반에서 AS는 낮고 IS는 DinoViT에서 더 높아, 클래스 의존적 누출이 적고 불변성 내 의미 변이에 대한 내성이 큰 것을 시사한다.
• 일부 클래스에서 ResNet50은 널 공간에 상당한 클래스 관련 정보를 누출하는 반면 DinoViT는 그렇지 않다.
• 오픈-보캐뉼라 분석은 개념 민감도가 클래스 및 모델에 따라 다르며 일부 개념은 특정 클래스의 불변성과 밀접하게 결합되어 있음을 보여준다.
• 널-스페이스 Steering은 로짓을 바꾸지 않고도 의미를 목표 개념으로 이동시킬 수 있음을 시연하여 보안 위험과 방어 수단 필요성을 강조한다.
• dedicated Table 1은 다섯 모델에 대한 널-스페이스 교란 결과를 보고하며 AS 값을 제시하고, DinoViT가 가장 작은 AS를 달성하여 방향성 널-스페이스 조작에 가장 강하게 저항한다는 것을 보인다.