[논문 리뷰] Semantic Sections: An Atlas-Native Feature Ontology for Obstructed Representation Spaces

Hossein Javidnia|arXiv (Cornell University)|2026. 03. 21.

Semantic Web and Ontologies인용 수 0

한 줄 요약

이 논문은 atlas- native 로컬-에서 글로벌 객체로서 의미 구성 섹션을 도입하여 차폐된 표현 공간에서 특징을 모델링하고, 순환 일관성이 글로벌화를 지배함을 증명하며, 고정된 LLM 아틀라스 간에 실용적인 발견-및-인증 파이프라인을 시연하여 트리-로컬 일관성을 넘어 글로벌화 가능 섹션과 왜곡 섹션을 모두 보여 준다.

ABSTRACT

Recent interpretability work often treats a feature as a single global direction, dictionary atom, or latent coordinate shared across contexts. We argue that this ontology can fail in obstructed representation spaces, where locally coherent meanings need not assemble into one globally consistent feature. We introduce an atlas-native replacement object, the semantic section: a transport-compatible family of local feature representatives defined over a context atlas. We formalize semantic sections, prove that tree-supported propagation is always pathwise realizable, and show that cycle consistency is the key criterion for genuine globalization. This yields a distinction between tree-local, globalizable, and twisted sections, with twisted sections capturing locally coherent but holonomy-obstructed meanings. We then develop a discovery-and-certification pipeline based on seeded propagation, synchronization across overlaps, defect-based pruning, cycle-aware taxonomy, and deduplication. Across layer-16 atlases for Llama 3.2 3B Instruct, Qwen 2.5 3B Instruct, and Gemma 2 2B IT, we find nontrivial populations of semantic sections, including cycle-supported globalizable and twisted regimes after deduplication. Most importantly, semantic identity is not recovered by raw global-vector similarity. Even certified globalizable sections show low cross-chart signed cosine similarity, and raw similarity baselines recover only a small fraction of true within-section pairs, often collapsing at moderate thresholds. By contrast, section-based identity recovery is perfect on certified supports. These results support semantic sections as a better feature ontology in obstructed regimes.

연구 동기 및 목표

• 차폐된 표현 공간에서 단일 전역 특징 벡터의 대체를atlas-native 의미 섹션으로Motivate.
• 의미 섹션을 형식화하고 이를 트리-로컬, 글로벌화 가능, 왜곡 규 regimes로 순환 일관성과 홀로놈에 기반하여 분류합니다.
• 동결된 LLM 아틀라스에서 의미 섹션을 발견, 동기화, 가지치기, 인증하는 실용적 시드-전파 파이프라인을 개발하고 검증합니다.
• 의미 섹션이 다양한 모델과 층에서 발견 가능하고 구조적으로 이질적임에 대한 교차-모델 경험적 근거를 제공합니다.

제안 방법

• 의미 섹션을 컨텍스트 아틀라스 위에서 국소 특징 대표의 운송-호환성 가족으로 정의합니다.
• 트리-로컬 확장이 항상 실현 가능하며 루프 운송과 함께 순환 일관성이 실제 글로벌화를 지배함을 증명합니다.
• 발견-인증 파이프라인을 도입합니다: 시드-전파, 동기화, 결함 기반 가지치기, 순환-인식 분류, 중복 제거.
• 발견된 섹션을 순환-인식 분류학으로 분류합니다(글로벌화 가능, 왜곡, 트리-로컬, 취약).
• Llama 3.2 Instruct의 16층 아틀라스, Qwen 2.5 Instruct의 16층 아틀라스, Gemma 2 2B IT의 16층 아틀라스에 파이프라인을 적용하고 시드 간 중복 제거를 수행합니다.
• 의미 섹션의 보수적인 인증을 유지하기 위한 경험적 프로토콜 설정과 임계값을 제공합니다.

Figure 1 : Semantic sections on a cyclic chart subsystem. (A) A globalizable section, where transporting the local representative $s_{u}$ around a loop $\gamma$ returns a representative $T_{\gamma}s_{u}$ that remains nearly aligned with $s_{u}$ , yielding small loop defect $\Delta_{\gamma}\approx 0$

실험 결과

연구 질문

• RQ1 차폐된 표현 공간이 글로벌하게 글로벌화 가능한 의미 섹션, 왜곡 섹션 또는 트리-로컬 일관성에 국한되어 있는가?
• RQ2 시드-전파 파이프라인이 다양한 모델에서 아틀라스-네이티브 의미 섹션을 안정적으로 발견하고 인증할 수 있는가?
• RQ3 의미 정체성이 원시 글로벌 벡터 유사도보다 의미 섹션에 의해 더 잘 회복되는가, 그리고 이는 임계값과 층 변화에 얼마나 강건한가?
• RQ4 모델 가족(Llama, Qwen, Gemma) 간의 층 16에서 섹션 유형의 경험적 분포는 어떠한가?

주요 결과

• 모델 간에 중복 제거 후 글로벌화 가능, 왜곡, 트리-로컬 의미 섹션이 존재한다.
• Gemma는 순환-지원 구조가 가장 풍부하여 14개의 글로벌화 가능, 4개의 왜곡, 8개의 트리-로컬 섹션(총 66개 중복 제거된 섹션)을 보인다.
• Llama는 희소하지만 의미 있는 집계(1 글로벌화 가능, 1 왜곡, 2 트리-로컬, 32 취약)를 보이고, Qwen은 트리-로컬 섹션이 더 많고(5개) 글로벌화 가능/왜곡은 적거나 미미하다(1–2개).
• 섹션 유형의 기하학적 프로필은 글로벌화 가능/왜곡 섹션이 낮은 평균 간선 결함과 낮은 홀로놈 결함을 보이는 반면, 트리-로컬 섹션은 순환 수가 제로이고 결함이 낮은 특징으로 나타난다.
• 인증된 글로벌화 가능 섹션조차도 원시 글로벌 벡터 유사도에서 의미 정체성을 회복하지 못하며, 섹션 기반 접근 방식으로 인증된 지지에서 섹션 내 정체성이 완벽하게 회복된다.

Figure 2 : Aggregate semantic identity recovery across section types. Section-based recovery remains perfect on certified supports, while raw global-similarity recovery is consistently lower and typically collapses at stricter thresholds.