[論文レビュー] Into the Rabbit Hull: From Task-Relevant Concepts in DINO to Minkowski Geometry

Thomas Fel, Binxu Wang+9 more|ArXiv.org|Oct 8, 2025

Face Recognition and Perception被引用数 3

ひとこと要約

この研究は、安定なスパースオートエンコーダを用いてDINOv2から32,000の視覚概念の大規模な過完備辞書を構築し、下流タスクがこれらの概念をどのように取り込むかを分析し、活性化の凸アーキタイプ幾何学を記述するMinkowski Representation Hypothesisを提案します。

ABSTRACT

DINOv2 is routinely deployed to recognize objects, scenes, and actions; yet the nature of what it perceives remains unknown. As a working baseline, we adopt the Linear Representation Hypothesis (LRH) and operationalize it using SAEs, producing a 32,000-unit dictionary that serves as the interpretability backbone of our study, which unfolds in three parts. In the first part, we analyze how different downstream tasks recruit concepts from our learned dictionary, revealing functional specialization: classification exploits "Elsewhere" concepts that fire everywhere except on target objects, implementing learned negations; segmentation relies on boundary detectors forming coherent subspaces; depth estimation draws on three distinct monocular depth cues matching visual neuroscience principles. Following these functional results, we analyze the geometry and statistics of the concepts learned by the SAE. We found that representations are partly dense rather than strictly sparse. The dictionary evolves toward greater coherence and departs from maximally orthogonal ideals (Grassmannian frames). Within an image, tokens occupy a low dimensional, locally connected set persisting after removing position. These signs suggest representations are organized beyond linear sparsity alone. Synthesizing these observations, we propose a refined view: tokens are formed by combining convex mixtures of archetypes (e.g., a rabbit among animals, brown among colors, fluffy among textures). This structure is grounded in Gardenfors' conceptual spaces and in the model's mechanism as multi-head attention produces sums of convex mixtures, defining regions bounded by archetypes. We introduce the Minkowski Representation Hypothesis (MRH) and examine its empirical signatures and implications for interpreting vision-transformer representations.

研究の動機と目的

• 視覚トランスフォーマーの解釈可能性のためのLinear Representation Hypothesis（LRH）を動機づけ、運用化する。
• DINOv2の活性化から32,000アトムの大規模で安定した視覚概念の辞書を、スパースオートエンコーダを用いて作成する。
• 下流タスク（分類、セマンティックセグメンテーション、深度推定）がどの概念を選択的に取り込むかを特徴づける。
• 厳密なスパース性を超えた概念辞書の幾何学、スパース性、コヒーレンスを検討する。
• トークン形成を凸混合としてアーキタイプ周りに記述するMinkowski Representation Hypothesis（MRH）を提案する。

提案手法

• 安定なスパースオートエンコーダでLRHを動かし、DINOv2の活性化を非負のコードZと辞書Dに因数分解する。Dは安定性のためconv(A)に制約。
• 辞書はc = 32,000アトムを用い、1トークンあたりk = 8個の活性コードを課し、conv(A)を1.4MのImageNet画像からの128,000個のセントロイドで近似する。
• Adamで50エポック学習し再構成適合度R^2 > 88%を達成。
• 下流タスクの整合性を分析するため、期待概念重要度E(Z W')を概念-タスクの関連性の指標として計算する。
• 概念活性化を可視化・クラスタリングして、タスク特有のサブスペースとアーキタイプのような構造を特定する。

実験結果

リサーチクエスチョン

• RQ1 DINOv2はどのような内部特徴（概念）をエンコードし、それらは幾何学的にどのように整理されているのか。
• RQ2 下流タスク（分類、セグメンテーション、深度推定）は学習した概念のどのサブセットを取り込むのか。
• RQ3 概念は機能的サブスペースを形成するのか、それとも strictly orthogonalな方向よりも一般的な凸アーキタイプなのか。
• RQ4 トークン種（cls、reg、space）の概念活性化パターンにおける役割は何か。
• RQ5 視覚トランスフォーマーにおけるMinkowski Representation Hypothesisの経験的指標は何か。

主な発見

• 下流タスクは異なる概念サブセットを取り込み、分類は広い概念セットを使用する一方、セグメンテーションと深度はより局所的で低次元のサブスペースに依存する。
• 概念は部分的な密度とコヒーレンスを示し、内積は直交モデルより裾野が広い尾を示し、タスクサブスペースは低次元で乱択サブセットよりも整合している。
• 頭ごとのトップのタスク整合概念は同一タスク内で類似性を示し、機能的サブスペースが純粋な直交方向よりも存在することを示唆する。
• 分類は「Elsewhere」概念を生み出し、物体の存在条件付きで対象外領域を活性化するため、構造化された否定論理を示唆する。
• セグメンテーションは物体境界に局在する境界概念に依存し、専門化された境界検出器を示す緊密なクラスタを形成する。
• 深度概念は三つのファミリーにクラスタリングされる：射影幾何学的手掛かり、影ベースの手掛かり、局所的周波数遷移、2Dデータから学習したモノカラー深度手掛かりを反映する。
• Registerトークンはregister-only概念によってグローバルなシーン特性を明らかにし、照明、モーションブラー、カメラ効果などのグローバルな非局所特徴を示す。