[論文レビュー] HyperINR: A Fast and Predictive Hypernetwork for Implicit Neural Representations via Knowledge Distillation

Qi Wu, David R. Bauer+2 more|arXiv (Cornell University)|Apr 9, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

HyperINRは、マルチスケールハッシュエンコーダーと知識蒸留を用いて、コンパクトな暗黙的ニューラル表現（INR）の重みを高速に予測するハイパーネットワークを導入する。これにより、従来手法と比べて最大100倍速い（1ms未塔）INR生成が可能となり、リアルタイムで写真同等の品質のボリュームレンダリングを実現するとともに、科学的可視化タスクにおける未学習パラメータへの優れた一般化性能を達成する。

ABSTRACT

Implicit Neural Representations (INRs) have recently exhibited immense potential in the field of scientific visualization for both data generation and visualization tasks. However, these representations often consist of large multi-layer perceptrons (MLPs), necessitating millions of operations for a single forward pass, consequently hindering interactive visual exploration. While reducing the size of the MLPs and employing efficient parametric encoding schemes can alleviate this issue, it compromises generalizability for unseen parameters, rendering it unsuitable for tasks such as temporal super-resolution. In this paper, we introduce HyperINR, a novel hypernetwork architecture capable of directly predicting the weights for a compact INR. By harnessing an ensemble of multiresolution hash encoding units in unison, the resulting INR attains state-of-the-art inference performance (up to 100x higher inference bandwidth) and can support interactive photo-realistic volume visualization. Additionally, by incorporating knowledge distillation, exceptional data and visualization generation quality is achieved, making our method valuable for real-time parameter exploration. We validate the effectiveness of the HyperINR architecture through a comprehensive ablation study. We showcase the versatility of HyperINR across three distinct scientific domains: novel view synthesis, temporal super-resolution of volume data, and volume rendering with dynamic global shadows. By simultaneously achieving efficiency and generalizability, HyperINR paves the way for applying INR in a wider array of scientific visualization applications.

研究の動機と目的

• 科学的応用におけるインタラクティブ可視化を妨げる大規模な暗黙的ニューラル表現（INR）の高い推論コストを低減すること。
• 特に未学習のシミュレーションまたは可視化パラメータに対して、モデル効率性と一般化性能のトレードオフを克服すること。
• INR生成の遅延を著しく短縮することで、高品質なデータおよび可視化出力を維持したまま、リアルタイムでのパラメータ探索を可能にすること。
• 新規ハイパーネットワークアーキテクチャと知識蒸留を用いて、推論速度および一般化性能の両面で最先端の性能を達成すること。
• 一様で効率的なフレームワークとして、新規ビュー合成、時間的スーパーサンプリング、動的シャドーレンダリングを含む多様な科学的可視化タスクをサポートすること。

提案手法

• 複数の小型マルチスケールハッシュエンコーダーを条件入力として用い、共通のコンパクトなMLPベースINRの重みを予測するハイパーネットワークを設計する。
• ハッシュエンコーダーを空間データ構造に配置し、入力パラメータに基づく効率的な最近傍探索と補間を可能にする。
• 埋め込まれた重み補間機構を実装し、補間されたエンコーダー重みと共有MLP重みを組み合わせて完全なINRを構築する。
• CoordNetを教師モデルとして用い、知識蒸留により小さなHyperINRに高精細な一般化能力を転送する。
• オンデマンドまたは事前計算された蒸留セットを用いてHyperINRを訓練し、性能と訓練効率の両方を最適化する。
• Wuらの最先端のINRレンダリングアルゴリズムと統合することで、インタラクティブなボリュームパストレーシングを可能にする。

Figure 1 : The architecture of HyperINR. HyperINR is composed of a shared MLP denoted as $S$ and a collection of multiresolution hash encoding parameters $E$ , with each parameter associated with a set of values $\{a,b,c,...\}$ . A) In high dimensions, a KD-tree is utilized, B) while in 1D, the enco

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットワークアーキテクチャは、科学的可視化において未学習パラメータに対しても1ms未塔のINR生成と高い一般化性能を両立できるか？
• RQ2 大規模な教師モデル（CoordNet）からの知識蒸留は、コンパクトなハイパーネットワークベースINRの一般化性能をどのように向上させるか？
• RQ3 1つの大型エンコーダーと比較して、複数のマルチスケールハッシュエンコーダーを用いることで、性能はどの程度向上するか？
• RQ4 提案手法は、動的グローバルシャドウなどの複雑な効果を伴うリアルタイムでインタラクティブなボリュームレンダリングをサポートできるか？
• RQ5 蒸留セットのサイズとオンデマンド生成の有無は、訓練効率とモデル性能にどのような影響を与えるか？

主な発見

• HyperINRはCoordNetと比較して最大100倍の推論帯域幅を達成し、1ms未塔のINR生成が可能となり、リアルタイムでのインタラクティブボリュームレンダリングを実現した。
• 時間的スーパーサンプリングタスクにおいて、データ補間よりも優れた性能を示し、補間が失敗する状況でもシャドーの動きを正確に予測し、視覚的整合性を維持した。
• 知識蒸留は一般化性能を顕著に向上させ、動的シャドーのような複雑なシナリオでさえも、未学習パラメータに対して高品質な可視化を生成可能にした。
• 事前計算された蒸留セットの使用により、NVIDIA A100上で訓練速度が最大8倍向上したが、GPUメモリの制限が大規模セットではボトルネックとなった。
• アブレーションスタディの結果、マルチスケールハッシュエンコーダーは単一エンコーダーベースラインよりも優れた性能を示し、高次元パラメータ空間では性能向上の恩恵が徐々に減少する傾向が確認された。
• HyperINRによるレンダリングでは、二次光線を回避することで約2倍の高速化が達成され、レンダリングパイプライン全体の効率性向上が示された。

Figure 2 : A) Visualization of the knowledge distillation process, wherein a user provides a training set $\mathcal{C}$ and a set of encoder positions $\mathcal{E}$ . We utilize $\mathcal{C}$ to pretrain CoordNet and construct HyperINR using $\mathcal{E}$ . Following pretraining, we create a distill