[論文レビュー] Distilled Low Rank Neural Radiance Field with Quantization for Light Field Compression

Jinglei Shi, Christine Guillemot|arXiv (Cornell University)|Jul 30, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、光線フィールド圧縮のための量子化・蒸留された低ランクニューラルレイトランスフィールド（QDLR-NeRF）を提案する。ADMMを用いた低ランク制約の適用、モデルをテンソルトレイン分解に蒸留すること、およびグローバルコードブックを用いた段階的重み量子化により、元のNeRFのモデルサイズを3.3%にまで削減したが、高いビュー合成品質を維持し、レート・ディストーション効率において最先端の圧縮手法を上回った。

ABSTRACT

We propose in this paper a Quantized Distilled Low-Rank Neural Radiance Field (QDLR-NeRF) representation for the task of light field compression. While existing compression methods encode the set of light field sub-aperture images, our proposed method learns an implicit scene representation in the form of a Neural Radiance Field (NeRF), which also enables view synthesis. To reduce its size, the model is first learned under a Low-Rank (LR) constraint using a Tensor Train (TT) decomposition within an Alternating Direction Method of Multipliers (ADMM) optimization framework. To further reduce the model's size, the components of the tensor train decomposition need to be quantized. However, simultaneously considering the optimization of the NeRF model with both the low-rank constraint and rate-constrained weight quantization is challenging. To address this difficulty, we introduce a network distillation operation that separates the low-rank approximation and the weight quantization during network training. The information from the initial LR-constrained NeRF (LR-NeRF) is distilled into a model of much smaller dimension (DLR-NeRF) based on the TT decomposition of the LR-NeRF. We then learn an optimized global codebook to quantize all TT components, producing the final QDLR-NeRF. Experimental results show that our proposed method yields better compression efficiency compared to state-of-the-art methods, and it additionally has the advantage of allowing the synthesis of any light field view with high quality.

研究の動機と目的

• 光線フィールド撮影における高いデータ量の課題に対処し、圧縮のためのコンactかつ高忠実度の表現を構築すること。
• NeRFに基づく光線フィールド圧縮において、低ランク近似とレート制約付き重み量子化を同時に最適化する困難を克服すること。
• 個々のビューではなくNeRFモデル自体を圧縮することで、光線フィールドデータの効率的な伝送を可能にすること。
• 知識蒸留と段階的量子化を通じて、極めて強いモデル圧縮に対しても高いビュー合成品質を維持すること。

提案手法

• まず、交替方向乗数法（ADMM）を用いて低ランク制約下でのテンソルランク最適化を実行することで、低ランク制約付きNeRF（LR-NeRF）を訓練する。
• LR-NeRFからの知識を、パrameter数を削減するためのテンソルトレイン（TT）分解を用いて、より小さな蒸留された低ランクNeRF（DLR-NeRF）に蒸留する。
• k-meansクラスタリングを用いてグローバルコードブックを学習し、層を最初から最後まで段階的にすべてのTT成分を量子化する。
• 量子化プロセスは層ごとに適用され、共有コードブックを用いることで、再構成誤差を最小限に抑えつつ、モデルサイズを著しく削減する。
• 全体のパイプラインは、蒸留により低ランク最適化と量子化を分離しており、安定した学習と効果的な圧縮を可能にする。

実験結果

リサーチクエスチョン

• RQ1 NeRFに基づく光線フィールド圧縮フレームワークにおいて、低ランク近似と重み量子化を効果的に組み合わせることができるか？
• RQ2 低ランク制約付きNeRFからの知識を、著しく小さな圧縮モデルに劣化を最小限に抑えながら移転できるか？
• RQ3 グローバルコードブックを用いた段階的量子化は、モデルサイズとビュー合成品質にどのような影響を与えるか？
• RQ4 レート・ディストーション性能の観点から、本手法は最先端の光線フィールド圧縮技術と比較してどのように差をつけるか？

主な発見

• 低ランク制約、蒸留、量子化を経て、モデルサイズは元のNeRFの100%から3.3%にまで削減され、30倍のサイズ削減が達成された。
• 元のNeRFからLR-NeRFへの変換でPSNRはわずか3dB低下したが、主に推定されたカメラポーズと低ランク近似によるものである。
• LR-NeRFをDLR-NeRFに蒸留することで、モデルサイズは3倍（16.7%）に削減され、PSNRの低下はわずか0.1dBにとどまり、低ランク知識の効果的な移転が示された。
• 段階的量子化により、モデルサイズは元の3.3%にまで削減され、PSNRの低下は0.6dBにとどまった。グローバルコードブックの有効性が裏付けられた。
• 合成光線フィールドでは、参照手法と比較して顕著に優れたレート・ディストーション性能を達成しており、特に実世界のLytro撮影データよりもクリーンなデータに対してより大きな利得が得られた。
• NeRFの暗黙的シーン表現のおかげで、高密度な光線フィールドのいかなるビューに対しても高品質な合成が可能になった。