[論文レビュー] Fast Training of Neural Lumigraph Representations using Meta Learning

Alexander W. Bergman, Petr Kellnhofer+1 more|arXiv (Cornell University)|Jun 28, 2021

Advanced Vision and Imaging参考文献 13被引用数 4

ひとこと要約

MetaNLR++ は、座標ベースのニューラル形状ネットワークと CNN を用いた画像特徴集約、およびメタラーニングを組み合わせることで、ニューラルルミグラフィック表現の学習を高速化し、従来の数時間にのぼる学習を数分で実現します。本手法により、最適化されたメタラーニングされた形状および特徴の事前分布から暗黙の表面表現を抽出することで、リアルタイムレンダリングが可能になります。

ABSTRACT

Novel view synthesis is a long-standing problem in machine learning and computer vision. Significant progress has recently been made in developing neural scene representations and rendering techniques that synthesize photorealistic images from arbitrary views. These representations, however, are extremely slow to train and often also slow to render. Inspired by neural variants of image-based rendering, we develop a new neural rendering approach with the goal of quickly learning a high-quality representation which can also be rendered in real-time. Our approach, MetaNLR++, accomplishes this by using a unique combination of a neural shape representation and 2D CNN-based image feature extraction, aggregation, and re-projection. To push representation convergence times down to minutes, we leverage meta learning to learn neural shape and image feature priors which accelerate training. The optimized shape and image features can then be extracted using traditional graphics techniques and rendered in real time. We show that MetaNLR++ achieves similar or better novel view synthesis results in a fraction of the time that competing methods require.

研究の動機と目的

• 新規視点合成におけるニューラルシーン表現の長い学習時間を解消すること。
• スパarsな2D入力画像から高品質な合成視点をリアルタイムでレンダリングすること。
• SfM や MVS のような遅い事前処理ステップに依存することを減らし、プロキシ形状と特徴のエンドツーエンド最適化を実現すること。
• メタラーニングを用いてニューラル形状および画像特徴ネットワークの効率的な初期化を実現し、収束を加速すること。
• ニューラルレンダリングパイプラインにおける画像品質、学習速度、レンダリング効率のバランスをとること。

提案手法

• プロキシ形状を表すために座標ベースのニューラルネットワークが用いられ、画像特徴エンコーダーおよびデコーダーとエンドツーエンドで最適化される。
• 2D CNN が入力画像からの特徴を抽出し、微分可能再投影機構を用いて学習された表面で特徴を集約する。
• 収束を加速するために、形状ネットワーク、特徴エンコーダー、集約関数の有効な初期化を学ぶためにメタラーニングが適用される。
• 最終的な暗黙の表面表現は、従来のグラフィックス技術を用いて抽出・レンダリングされ、リアルタイムパフォーマンスを実現する。
• 形状学習を監視するために、オブジェクトマスクを用いたレイトマスク損失が用いられ、初期学習段階での正確な幾何学的形状を保証する。
• 体積レンダリングを避けるために、表面に直接特徴を集約することで、計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、画像品質を損なわせることなく、ニューラルルミグラフィック表現の学習時間を顕著に短縮できるか？
• RQ2 形状および特徴ネットワークのエンドツーエンド最適化により、事前に計算された SfM/MVS パイプラインへの依存を排除できるか？
• RQ3 表面ベースのニューラルレンダリングアプローチは、リアルタイム推論を実現しながらも、写実的な新規視点合成を維持できるか？
• RQ4 メタラーニングを用いたニューラル形状事前分布と画像特徴事前分布の統合は、収束速度および最終的なパフォーマンスにどのように影響するか？
• RQ5 ニューラルレンダリングにおいて、形状の詳細度と特徴ベース表現の能力の間にはどのようなトレードオフがあるか？

主な発見

• MetaNLR++ は NLR データセットで PSNR 37.55（LPIPS 0.034）の新規視点合成を達成し、NLR++（PSNR 35.54、LPIPS 0.046）を上回る性能を示した。
• 高品質な結果を得るための学習時間が30分未満に短縮されたのに対し、競合手法では数時間から数日を要した。
• 学習後、暗黙の表面表現を抽出してレンダリングすることで、本手法はリアルタイムレンダリングを実現した。
• メタラーニングにより、形状および特徴ネットワークの初期化を効果的に学習することで収束時間が短縮された。
• わずか6枚の学習ビューでも、内挿された視点における強力な一般化性能を示し、高品質な画像を維持した。
• PSNR および LPIPS の両指標において、ベースラインの NLR++ よりも優れた性能を示し、より優れた知覚的品質を示した。