[論文レビュー] InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering

Mijeong Kim, Seonguk Seo+1 more|arXiv (Cornell University)|Dec 31, 2021

Advanced Vision and Imaging被引用数 9

ひとこと要約

InfoNeRFは、わずか4〜8枚の入力ビューでの学習を想定し、わずかに異なる視点間の光線エントロピーと情報量の増加を最小化することで、情報理論的正則化手法を導入した少数ショットニューラルボリュームレンダリングのためのものである。この二重正則化により再構成の一貫性が向上し、過学習が抑制される。事前シーン知識がなく、広基準基準距離の条件でも、標準ベンチマークで最先端の性能を達成している。

ABSTRACT

We present an information-theoretic regularization technique for few-shot novel view synthesis based on neural implicit representation. The proposed approach minimizes potential reconstruction inconsistency that happens due to insufficient viewpoints by imposing the entropy constraint of the density in each ray. In addition, to alleviate the potential degenerate issue when all training images are acquired from almost redundant viewpoints, we further incorporate the spatially smoothness constraint into the estimated images by restricting information gains from a pair of rays with slightly different viewpoints. The main idea of our algorithm is to make reconstructed scenes compact along individual rays and consistent across rays in the neighborhood. The proposed regularizers can be plugged into most of existing neural volume rendering techniques based on NeRF in a straightforward way. Despite its simplicity, we achieve consistently improved performance compared to existing neural view synthesis methods by large margins on multiple standard benchmarks.

研究の動機と目的

• 少数ショットの新規ビュー合成における再構成の一貫性の欠如を解消し、レンダリング画像にノイズ、ぼやけ、アーチファクトが生じるのを防ぐ。
• 限られたビューでの学習状況において、重複または類似した視点に過学習するのを克服する。
• ボクセルやメッシュのような追加のデータ構造を必要とせず、既存のNeRFベースの手法に適用可能な汎用的でパラメータフリーの正則化手法を開発する。
• 事前シーン知識や外部の教師信号なしに、広基準基準距離のデータセットでも高品質な新規ビュー合成を可能にする。
• 特に低ショットおよび高基準基準距離の設定において、多様なベンチマークで一貫した性能向上を達成する。

提案手法

• 各光線に沿った密度値のエントロピーを最小化することで、不十分に制約された領域におけるスパarsityを促進し、再構成の不確実性を低減する。
• KLダイバージェンスに基づく損失を導入し、わずかに摂動させた視点からの光線間の情報量の増加を低減することで、再構成されたボリュームにおける空間的滑らかさを強制する。
• 両正則化子を微分可能で軽量な追加項として標準NeRF学習に適用し、追加の可学習パラメータを一切必要としない。
• 既存のNeRFおよびPixelNeRFフレームワークに正則化子を統合し、アーキテクチャを越えた汎用性を実証する。
• NeRFの元のボリュームレンダリング損失と、2つの情報理論的正則化子の加重和としての総損失を最適化する。
• 視点の摂動を用いて情報量の増加を推定し、隣接する視点間での滑らかさを強制することで、退化した解を回避する。

(a) Rendered RGB and depth images estimated by NeRF [ 21 ] on the Realistic Synthetic 360 ∘ dataset in a 4-view setting.

実験結果

リサーチクエスチョン

• RQ1 光線エントロピーの最小化は、少数ショットの新規ビュー合成における再構成品質の向上とアーチファクトの低減に寄与するか？
• RQ2 近接する視点間の情報量の増加を低減することで、広基準基準距離のデータセットにおける過学習の防止と一般化性能の向上が達成できるか？
• RQ3 本手法の正則化は、限られたかつ非一様に分布する訓練ビューの状況でも効果的か？
• RQ4 本手法は、アーキテクチャの変更なしに、既存のNeRFベースのアーキテクチャに汎用的に適用可能か？
• RQ5 標準ベンチマークにおいて、PSNR、SSIM、LPIPSの観点から、先行手法に比べてどの程度優れているか？

主な発見

• DTUデータセットにおいて3ビュー設定でPSNRが11.23を達成し、標準NeRF（8.50）や他のアブレーションバージョンを顕著に上回った。
• リアルな合成360°データセットでは、4〜8ビューの範囲で一貫した性能向上を維持し、ベースラインNeRFに比べてPSNRが2dB以上向上した。
• エントロピー最小化損失のみを適用すると、PSNRが2.04dB（8.50から10.54）向上するが、過学習のためSSIMが劣化する。この問題は情報量の増加低減損失によって是正された。
• 完全なInfoNeRFモデルは、DTUデータセットで最高のSSIM（0.445）とLPIPS（0.543）を達成し、構造的一致性と知覚的品質の向上を示した。
• PixelNeRFに統合したInfoPixelNeRFは、ドラムスシーンにおける定性的比較でぼやけを顕著に低減し、シャープネスを向上させた。
• アブレーションスタディにより、両正則化子が不可欠であることが確認された。エントロピー最小化は不確実性を低減するが、情報量の増加低減は類似度の高い視点設定における過学習を防止する。

(b) Rendered RGB images for two slightly different viewpoints (left: seen, right: unseen) estimated by NeRF [ 21 ] on the DTU dataset in a 3-view setting.