[논문 리뷰] HyperINR: A Fast and Predictive Hypernetwork for Implicit Neural Representations via Knowledge Distillation

Qi Wu, David R. Bauer외 2명|arXiv (Cornell University)|2023. 04. 09.

Advanced Vision and Imaging인용 수 6

한 줄 요약

HyperINR는 다중 해상도 해시 인코더와 지식 정복을 사용하여 압축된 암시적 신경 표현(INR)의 가중치를 생성하는 빠르고 예측 가능한 하이퍼넷워크를 도입한다. 하이퍼넷워크는 기존 방법 대비 최대 100배 빠른 서브 밀리초 수준의 INR 생성을 가능하게 하여 실시간, 사진 수준의 볼륨 렌더링을 실현하고 과학 시각화 작업에서 예측되지 않은 파rameter에 대해 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Implicit Neural Representations (INRs) have recently exhibited immense potential in the field of scientific visualization for both data generation and visualization tasks. However, these representations often consist of large multi-layer perceptrons (MLPs), necessitating millions of operations for a single forward pass, consequently hindering interactive visual exploration. While reducing the size of the MLPs and employing efficient parametric encoding schemes can alleviate this issue, it compromises generalizability for unseen parameters, rendering it unsuitable for tasks such as temporal super-resolution. In this paper, we introduce HyperINR, a novel hypernetwork architecture capable of directly predicting the weights for a compact INR. By harnessing an ensemble of multiresolution hash encoding units in unison, the resulting INR attains state-of-the-art inference performance (up to 100x higher inference bandwidth) and can support interactive photo-realistic volume visualization. Additionally, by incorporating knowledge distillation, exceptional data and visualization generation quality is achieved, making our method valuable for real-time parameter exploration. We validate the effectiveness of the HyperINR architecture through a comprehensive ablation study. We showcase the versatility of HyperINR across three distinct scientific domains: novel view synthesis, temporal super-resolution of volume data, and volume rendering with dynamic global shadows. By simultaneously achieving efficiency and generalizability, HyperINR paves the way for applying INR in a wider array of scientific visualization applications.

연구 동기 및 목표

• 과학적 응용 분야에서 상호작용 가능한 시각화를 방해하는 큰 암시적 신경 표현(INR)의 높은 추론 비용을 해결한다.
• 특히 예측되지 않은 시뮬레이션 또는 시각화 파rameter에 대해 모델의 효율성과 일반화 능력 사이의 상충 관계를 극복한다.
• INR 생성 지연 시간을 극적으로 줄여 실시간 파arameter 탐색을 가능하게 하되, 높은 품질의 데이터 및 시각화 출력을 유지한다.
• 새로운 하이퍼넷워크 아키텍처와 지식 정복을 통해 추론 속도와 일반화 능력에서 최신 기준 성능을 달성한다.
• 통합적이고 효율적인 프레임워크를 통해 새로운 시점 합성, 시간적 초해상도, 동적 그림자 렌더링와 같은 다양한 과학 시각화 작업을 지원한다.

제안 방법

• 다양한 작은 다중 해상도 해시 인코더를 조건부 입력으로 사용하여 공유된 압축형 MLP 기반 INR의 가중치를 예측하는 하이퍼넷워크를 설계한다.
• 해시 인코더를 공간 데이터 구조로 구성하여 입력 파rameter 기반의 효율적인 근접 이웃 검색 및 보간을 가능하게 한다.
• 해당 인코더 가중치와 공유된 MLP 가중치를 결합하는 깊이 있는 임베딩 가중치 보간 메커니즘을 구현하여 완전한 INR를 구성한다.
• CoordNet을 교사 모델로 사용하여 지식 정복을 통해 작은 HyperINR에 고정밀도 일반화 능력을 이관한다.
• 수요에 따라 생성하거나 사전 계산된 정복 세트를 사용하여 HyperINR를 훈련시켜 성능과 훈련 효율성을 최적화한다.
• Wu 등이 개발한 최신 INR 렌더링 알고리즘과 HyperINR를 통합하여 상호작용 가능한 볼륨 경로 추적을 가능하게 한다.

Figure 1 : The architecture of HyperINR. HyperINR is composed of a shared MLP denoted as $S$ and a collection of multiresolution hash encoding parameters $E$ , with each parameter associated with a set of values $\{a,b,c,...\}$ . A) In high dimensions, a KD-tree is utilized, B) while in 1D, the enco

실험 결과

연구 질문

• RQ1 하이퍼넷워크 아키텍처는 과학적 시각화에서 예측되지 않은 파arameter에 대해 서브 밀리초 수준의 INR 생성과 동시에 높은 일반화 능력을 달성할 수 있는가?
• RQ2 큰 교사 모델(CoordNet)으로부터의 지식 정복은 압축된 하이퍼넷워크 기반 INR의 일반화 능력을 어떻게 향상시키는가?
• RQ3 단일 대용량 인코더 대비 다중 다중 해상도 해시 인코더를 사용할 경우 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 방법은 동적 글로벌 그림자와 같은 복잡한 효과를 포함한 실시간 상호작용 볼륨 렌더링을 지원할 수 있는가?
• RQ5 정복 세트 크기와 수요에 따른 생성 방식이 훈련 효율성과 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• HyperINR는 CoordNet 대비 최대 100배 높은 추론 대역폭을 확보하여 1ms 이내로 INR 생성이 가능해져 실시간 상호작용 볼륨 렌더링을 지원한다.
• 시간적 초해상도 작업에서 데이터 보간 기법에 비해 우수한 성능을 보이며, 보간 기법이 실패하는 상황에서도 그림자 이동을 정확히 예측하고 시각적 일관성을 유지한다.
• 지식 정복은 일반화 능력을 크게 향상시켜, 동적 그림자와 같은 복잡한 시나리오에서도 예측되지 않은 파arameter에 대해 고품질의 시각화를 생성할 수 있도록 한다.
• 사전 계산된 정복 세트 사용으로 NVIDIA A100에서 훈련 속도가 최대 8배 향상되었지만, 대규모 세트의 경우 GPU 메모리 제약이 여전히 문제로 남아 있다.
• 제거 분석 결과, 다중 해상도 해시 인코더는 단일 인코더 기반 베이스라인 대비 더 나은 성능을 보이며, 고차원 파arameter 공간에서는 성능 향상 폭이 점차 감소함을 확인하였다.
• HyperINR를 사용한 렌더링은 보조 광선을 방지함으로써 약 2배의 속도 향상을 달성하여 렌더링 파이프라인 내 효율성 향상을 입증하였다.

Figure 2 : A) Visualization of the knowledge distillation process, wherein a user provides a training set $\mathcal{C}$ and a set of encoder positions $\mathcal{E}$ . We utilize $\mathcal{C}$ to pretrain CoordNet and construct HyperINR using $\mathcal{E}$ . Following pretraining, we create a distill