[논문 리뷰] Into the Rabbit Hull: From Task-Relevant Concepts in DINO to Minkowski Geometry

Thomas Fel, Binxu Wang외 9명|ArXiv.org|2025. 10. 08.

Face Recognition and Perception인용 수 3

한 줄 요약

이 연구는 안정적인 희소 오토인코더를 사용하여 DINOv2의 32,000개 시각 개념의 큰 과잉 사전을 구축하고, 다운스트림 작업이 이러한 개념을 어떻게 활용하는지 분석하며, 활성화의 볼록-원형 기하를 설명하기 위한 Minkowski Representation Hypothesis를 제안한다.

ABSTRACT

DINOv2 is routinely deployed to recognize objects, scenes, and actions; yet the nature of what it perceives remains unknown. As a working baseline, we adopt the Linear Representation Hypothesis (LRH) and operationalize it using SAEs, producing a 32,000-unit dictionary that serves as the interpretability backbone of our study, which unfolds in three parts. In the first part, we analyze how different downstream tasks recruit concepts from our learned dictionary, revealing functional specialization: classification exploits "Elsewhere" concepts that fire everywhere except on target objects, implementing learned negations; segmentation relies on boundary detectors forming coherent subspaces; depth estimation draws on three distinct monocular depth cues matching visual neuroscience principles. Following these functional results, we analyze the geometry and statistics of the concepts learned by the SAE. We found that representations are partly dense rather than strictly sparse. The dictionary evolves toward greater coherence and departs from maximally orthogonal ideals (Grassmannian frames). Within an image, tokens occupy a low dimensional, locally connected set persisting after removing position. These signs suggest representations are organized beyond linear sparsity alone. Synthesizing these observations, we propose a refined view: tokens are formed by combining convex mixtures of archetypes (e.g., a rabbit among animals, brown among colors, fluffy among textures). This structure is grounded in Gardenfors' conceptual spaces and in the model's mechanism as multi-head attention produces sums of convex mixtures, defining regions bounded by archetypes. We introduce the Minkowski Representation Hypothesis (MRH) and examine its empirical signatures and implications for interpreting vision-transformer representations.

연구 동기 및 목표

• 비전 트랜스포머의 해석 가능성을 위한 Linear Representation Hypothesis(LRH)를 동기화하고 작동화한다.
• DINOv2 활성화에서 32,000개 원소의 크고 안정적인 시각 개념 사전을 희소 오토인코더를 이용해 만든다.
• 다운스트림 작업(분류, 분할, 깊이)에서 개념의 선택적 활용 방식을 특징짓는다.
• 엄밀한 희소성뿐 아니라 개념 사전의 기하학적 속성, 희소성의 경계 너머의 일관성을 평가한다.
• 토큰 형성의 볼록 혼합으로서의 매핑을 archetype 주변에서 설명하는 Minkowski Representation Hypothesis(MRH)를 제안한다.

제안 방법

• DINOv2 활성화를 비음수 코드 Z와 사전 D로 분해하는 안정적인 희소 오토인코더로 LRH를 작동화하며, D는 안정성을 위한 conv(A)로 제약된다.
• 토큰당 활성 코드 수 k=8을 강제하고, 128,000개의 중심점으로 conv(A)를 근사하기 위해 1.4M ImageNet 이미지에서 사전 D를 구성한다.
• Adam으로 50에폭 학습하여 재구성 적합도 R^2 > 88%를 달성한다.
• 개념-작업 관련성을 측정하는 지표로 기대 개념 중요도 E(Z W')를 계산하여 다운스트림 작업 정렬을 분석한다.
• 개념 활성화를 시각화하고 클러스터링하여 작업별 하위공간과 원형 특성 구조를 식별한다.

실험 결과

연구 질문

• RQ1 DINOv2가 내부적으로 어떤 특징(개념)을 인코딩하고 기하학적으로 어떻게 조직되어 있는가?
• RQ2 다운스트림 작업(분류, 분할, 깊이 추정)이 학습된 개념의 서로 다른 부분집합을 어떻게 모집하는가?
• RQ3 개념이 기능적 부분공간을 형성하는가, 아니면 strictly orthogonal 방향보다 더 일반적인 볼록 원형(archetype)을 형성하는가?
• RQ4 토큰 유형(cls, reg, spatial)이 개념 활성화 패턴에서 어떤 역할을 하는가?
• RQ5 비전 트랜스포머에서 Minkowski Representation Hypothesis의 경험적 징후는 무엇인가?

주요 결과

• 다운스트림 작업은 서로 다른 개념 하위집합을 모집하며, 분류는 폭넓은 개념 세트를 사용하고, 분할과 깊이는 더 국소적이고 저차원 하위공간에 의존한다.
• 개념은 부분적 밀도와 일관성을 보여주며, 내적 곱은 직교 모델보다 꼬리가 더 두껍고, 작업 하위공간은 저차원이면서 임의 부분집합보다 더 정렬된다.
• 상단 작업-정렬 개념은 헤드별로 내부 작업 간 유사성을 보여 기능적 하위공간을 시사하며, 순수한 직교 방향이 아니다.
• 분류는 객체 유무에 따라 모양이 달라지는 “Elsewhere” 개념을 활성화하여 물체 외부 영역에 대한 긍정적 부정 논리를 시사한다.
• 분할은 객체 경계에 국한된 경계 개념에 의존하여 강한 군집을 형성하고, 특수한 경계 탐지기에 대한 특징을 보인다.
• 깊이 개념은 삼분류: 投影 기하학 신호, 그림자 기반 신호, 국부 주파수 변화로 군집되어 2D 데이터에서 학습된 단안 깊이 신호를 반영한다.
• 레지스터 토큰은 조명, 모션 블러, 카메라 효과를 포함한 전역적 비지역 특징을 나타내는 레지스터-전용 개념을 통해 전역 장면 특성을 드러낸다.