[論文レビュー] Make it SING: Analyzing Semantic Invariants in Classifiers

Harel Yadid, Meir Yossef Levi+2 more|arXiv (Cornell University)|Mar 15, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

SINGは分類器のnull-space invariantsをCLIPベースの視覚–言語空間に写し、人間が読める意味的説明を生成して、モデル・クラス・画像レベルの分析とアーキテクチャ横断の比較を可能にする。

ABSTRACT

All classifiers, including state-of-the-art vision models, possess invariants, partially rooted in the geometry of their linear mappings. These invariants, which reside in the null-space of the classifier, induce equivalent sets of inputs that map to identical outputs. The semantic content of these invariants remains vague, as existing approaches struggle to provide human-interpretable information. To address this gap, we present Semantic Interpretation of the Null-space Geometry (SING), a method that constructs equivalent images, with respect to the network, and assigns semantic interpretations to the available variations. We use a mapping from network features to multi-modal vision language models. This allows us to obtain natural language descriptions and visual examples of the induced semantic shifts. SING can be applied to a single image, uncovering local invariants, or to sets of images, allowing a breadth of statistical analysis at the class and model levels. For example, our method reveals that ResNet50 leaks relevant semantic attributes to the null space, whereas DinoViT, a ViT pretrained with self-supervised DINO, is superior in maintaining class semantics across the invariant space.

研究の動機と目的

• 分類器のnull spaceにおける不変量が意味情報を持つことを動機づけ、定量化する。
• 視覚-言語空間（CLIP）を介してnull-spaceの方向を人間が読める概念へマッピングするフレームワークを開発する。
• 単一画像およびデータセット全体の分析を可能にし、アーキテクチャとクラスを意味的漏洩の観点で比較する。
• 偽の相関を診断し、オープンボキャブラリ概念の感度を探索するツールを提供する。
• モデル設計と微調整時にnull-space意味論を制御する方向性を示す。

提案手法

• 最終線形層をSVDで分解して主成分空間とnull空間を分離する。
• 分類器の特徴をCLIP画像埋め込みへ写す線形翻訳器Tを学習する。
• 特徴ベクトルからnull-space成分を除去して等価な特徴ペアを構築する。
• 等価な特徴をCLIP空間へ翻訳して意味記述と可視化を得る。
• CLIP空間内の角度に基づく指標AS（属性スコア）とIS（画像スコア）を定義して意味的漏洩と不変性品質を定量化する。
• テキストプロンプトに導かれたnull-space内の摂動を適用して意味的操作と漏洩を研究する。

実験結果

リサーチクエスチョン

• RQ1 モデルの不変空間（null space）に含まれる意味情報をどのように定量化できるか。
• RQ2 ImageNetのクラス間でどのアーキテクチャがクラス関連の意味情報をnull空間へ漏らしにくいか。
• RQ3 オープンボキャブラリ概念はクラスや画像レベルで偽の相関や頑健性を示すか。
• RQ4 ログitを変えずにnull-space操作が意味にどう影響するか、学習時にこれを緩和できるか。
• RQ5 異なるモデルは不変空間内のクラス意味をどの程度保持しているか。

主な発見

Model	AS (|AS| toward target prompt jellyfish)
ResNet50	12.04 ± 0.25
EfficientNet	12.38 ± 0.52
BiTResNet	9.19 ± 0.31
DinoViT	5.00 ± 0.59
ResNext101	11.15 ± 0.53

• DinoViTは、背景色などの広範な不変量を許容しつつ、クラス意味をnull空間で保持する最良のトレードオフを示す。
• モデルをまたいでASは低くISは高い。DinoViTで、クラス依存の漏洩が少なく、 invariants内の意味的変動に対する耐性が高い。
• 一部のクラスではResNet50がnull空間へ substantialなクラス関連情報を漏らすのに対し、DinoViTはそうではない。
• オープンボキャブラリ分析は、概念感度がクラスとモデルによって異なることを示し、特定のクラスには不変性に強く結びつく概念がある。
• null-space steeringは、ロジットを変えずに意味を target概念へ移動できることを示し、セキュリティリスクと対策の必要性を強調する。
• 専用の表1は5モデルのnull-space摂動結果をAS値として報告し、DinoViTが最小のASを達成している（-directed null-space manipulationに対して最も耐性がある）。