[논문 리뷰] Ensuring Semantics in Weights of Implicit Neural Representations through the Implicit Function Theorem

Qiu, Tianming, Christos Sonis외 1명|arXiv (Cornell University)|2026. 01. 30.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

본 논문은 Implicit Function Theorem을 사용하여 데이터 의미가 HyperINR 프레임워크의 잠재 가중치 공간에서 어떻게 보존될 수 있는지 분석하고, hypernetwork와 잠재 임베딩의 경량 공동 최적화를 통해 2D/3D 분류 성능이 경쟁력 있음을 보여준다.

ABSTRACT

Weight Space Learning (WSL), which frames neural network weights as a data modality, is an emerging field with potential for tasks like meta-learning or transfer learning. Particularly, Implicit Neural Representations (INRs) provide a convenient testbed, where each set of weights determines the corresponding individual data sample as a mapping from coordinates to contextual values. So far, a precise theoretical explanation for the mechanism of encoding semantics of data into network weights is still missing. In this work, we deploy the Implicit Function Theorem (IFT) to establish a rigorous mapping between the data space and its latent weight representation space. We analyze a framework that maps instance-specific embeddings to INR weights via a shared hypernetwork, achieving performance competitive with existing baselines on downstream classification tasks across 2D and 3D datasets. These findings offer a theoretical lens for future investigations into network weights.

연구 동기 및 목표

• weight-space learning (WSL)을 데이터 모달리티로 동기 부여하고 데이터 의미가 INR 가중치에 인코딩되는 시점을 탐구한다.
• 잠재 임베딩을 INR 가중치로 매핑하고 데이터 샘플을 재구성하는 하이퍼네트워크를 갖는 HyperINR 구성 모델을 제시한다.
• Implicit Function Theorem을 통해 의미를 보존하는 데이터-대-가중치 매핑의 조건을 확립하는 수학적 분석을 제공한다.
• 2D (MNIST, FashionMNIST) 및 3D (ModelNet40, ShapeNet10, ScanNet10) 데이터셋에서 실증적으로 검증하고 다운스트림 분류에서 경쟁력 있거나 선두를 보인다.

제안 방법

• 공유 하이퍼네트워크 φ(v, z)가 잠재 z를 INR 가중치 w로 매핑하는 HyperINR을 형식화한다.
• 좌표 p를 데이터 값 x로 매핑하는 INR 메인 네트워크 f(w, p)를 정의한다.
• 좌표 전체에 걸친 재구성 오차를 측정하는 잔차 손실 ℓ(v, z, X)을 사용한다.
• ξ_{v*}(z, X)를 ℓ의 z에 대한 기울기로 도입하고 Implicit Function Theorem을 통해 그 야코비 행렬을 분석한다.
• 야코비 행렬의 전 행렬(rank) 조건(또는 nc ≥ l)이 성립하면 의미를 보존하는 로컬 데이터-대-가중치 매핑 g(X)이 얻어짐을 보여준다.
• 재구성, 기울기 노름, Hessian 조건수, 잠재/가중치 공간의 클러스터링을 실증적으로 평가한다.

실험 결과

연구 질문

• RQ1 HyperINR 학습이 Implicit Function Theorem을 통해 데이터에서 INR 가중치로의 잘 정의되고 고유한 매핑을 시사하는 조건은 무엇인가?
• RQ2 야코비안/해essian 조건화가 잠재 가중치 공간에서 데이터 의미의 보존에 어떤 영향을 미치는가?
• RQ3 잠재 임베딩 z와 생성된 가중치 w가 2D 및 3D 데이터셋에서 데이터 클래스와 일치하는 의미적 클러스터링을 보이는가?
• RQ4 가벼운 HyperINR 구성으로 대규모 데이터 증강이나 대형 아키텍처 없이도 경쟁력 있는 다운스트림 분류를 달성할 수 있는가?

주요 결과

• 잠재 임베딩 z는 학습 및 테스트 시나리오 모두에서 의미 클래스별로 뚜렷한 군집을 형성한다(예: ShapeNet10).
• PCA는 잠재 공간과 가중치 공간 모두에서 명확한 클러스터링을 보여주며 의미 구조가 보존됨을 시사한다.
• 입력으로 z 또는 w를 사용한 분류가 높은 정확도를 달성하며, 저자 프로토콜에서 FashionMNIST, ModelNet40, ShapeNet10에 대해 종종 최첨단(SOTA)으로 보고된다.
• Hessian 조건은 일반적으로 우호적이며, 대다수 샘플에서 전 랭크의 잘 조건화된 야코비 행렬을 가지므로 IFT 적용 가능성을 지지한다.
• 대략 1M 파라미터 규모의 최소한의 공동 최적화 HyperINR은 빠르게 수렴하고(≈30 minutes) 매칭된 프로토콜에서 더 큰 대조군과 경쟁한다.
• 매끄러운 잠재 공간 보간은 모양 간의 의미 있는 변화를 유도하며 연속적인 잠재 공간을 시사한다.