[論文レビュー] Unsupervised Discovery and Composition of Object Light Fields

Cameron M. Smith, Hong-Xing Yu+5 more|arXiv (Cornell University)|May 8, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、ニューラルライトフィールドと学習可能なライトフィールド合成モジュールを用いて、3次元オブジェクト中心のシーンの教師なし発見とレンダリングを実現する新規手法 Compositional Object Light Fields (COLF) を提案する。ボリュームレンダリングに代えて高価な処理を回避するアプローチにより、COLFは、インフェレンスおよびトレーニング速度が桁違いに高速化された一方で、最先端の再構成性能と新規視点合成性能を達成し、数十個のオブジェクトを含むシーンのリアルタイムレンダリングを可能にする。

ABSTRACT

Neural scene representations, both continuous and discrete, have recently emerged as a powerful new paradigm for 3D scene understanding. Recent efforts have tackled unsupervised discovery of object-centric neural scene representations. However, the high cost of ray-marching, exacerbated by the fact that each object representation has to be ray-marched separately, leads to insufficiently sampled radiance fields and thus, noisy renderings, poor framerates, and high memory and time complexity during training and rendering. Here, we propose to represent objects in an object-centric, compositional scene representation as light fields. We propose a novel light field compositor module that enables reconstructing the global light field from a set of object-centric light fields. Dubbed Compositional Object Light Fields (COLF), our method enables unsupervised learning of object-centric neural scene representations, state-of-the-art reconstruction and novel view synthesis performance on standard datasets, and rendering and training speeds at orders of magnitude faster than existing 3D approaches.

研究の動機と目的

• オブジェクト中心のニューラルレイトランスフィールドにおけるボリュームレンダリングの高コストを軽減し、スケーラビリティとレンダリング品質を向上させること。
• レイクエリにおける未知の深度順序による部分的ライトフィールドの非解析的合成の課題を克服すること。
• 2次元画像からオブジェクト中心の3次元表現を教師なしで発見し、一般化性能とレンダリング効率を向上させること。
• 先行SOTA手法と同等またはそれ以上の再構成忠実度を維持しながら、リアルタイムのレンダリングおよびトレーニング速度を達成すること。

提案手法

• 各オブジェクトを、1つのレイに対して1回ずつサンプリングするニューラルライトフィールドとして表現することで、ボリュームレンダリングと比較してレイあたりの計算量を著しく削減する。
• レイの深度順序に基づいて各オブジェクトのライトフィールドのソフト可視性重みを推定する学習可能なライトフィールド合成モジュールを導入し、オブジェクト中心のライトフィールドをグローバルシーンライトフィールドに微分可能かつ安定的に合成可能にする。
• スロットアテンションを用いて2次元画像からオブジェクトコードを推論し、そのコードを用いて各オブジェクトのライトフィールドネットワークのカラーおよび深度順序特徴を照合する。
• 予測画像と真値画像のピxlsレベルの再構成誤差を最小化する微分可能レンダリング目的関数を用いて、モデルをエンドツーエンドで学習する。
• ライトフィールドネットワークに周期的活性化関数とフォーリエ特徴を活用することで、表現能力とレンダリング品質を向上させる。
• オブジェクト中心のライトフィールド座標の変換により、再トレーニングなしでオブジェクトの移動やシーン間の合成が可能になるように、シーン編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的な深度順序なしに、効率的かつ微分可能な合成が可能な形で、オブジェクト中心の3次元シーンをニューラルライトフィールドで表現できるか？
• RQ2 学習可能な合成モジュールが、重なったオブジェクトのライトフィールドに対してソフト可視性を効果的に推定でき、正確なグローバルライトフィールド再構成を可能にするか？
• RQ3 ボリュームレンダリングを単一サンプリングのライトフィールドレンダリングに置き換えることで、著しい高速化が達成され、再構成品質が維持または向上するか？
• RQ4 本手法は、トレーニング時に観測したオブジェクト数（7個）を超える複雑でごちゃついた環境におけるオブジェクト数の多いシーンにも一般化可能か？
• RQ5 本手法は、数十個のオブジェクトを含む非有界なシーンを、インタラクティブに編集・合成し、リアルタイムで処理できるか？

主な発見

• COLFは、標準ベンチマークにおいて最先端の新規視点合成性能を達成し、CLEVR-11データセットではLPIPSスコア0.1128を記録。uORF（0.1540）およびNeRF-AE（0.2201）を上回る。
• ボリュームレンダリングベースのアプローチと比較して、トレーニングおよびインフェレンス速度が2桁以上高速化され、最大20個のオブジェクトを含むシーンのリアルタイムレンダリングが可能になった。
• トレーニング限界（7オブジェクト）を超える11オブジェクトを含むシーンに対しても、COLFは良好な一般化性能を示し、セグメンテーションおよびビュー合成の両面で優れた性能を維持した。
• 都市ブロックシーンのような複雑なシーンを、背景と前面の車のライトフィールドに効果的に分解し、正確な編集と合成を可能にした。
• ライトフィールド合成モジュールは、未知の深度順序に対しても効果的に処理し、オブジェクト中心のライトフィールドの微分可能かつ安定な合成を実現した。
• 補足結果から、先行するボリュームレンダリングベースラインでは、同じシーンをレンダリングするのに計算コストが著しく高くなり、COLFの効率的優位性が顕著に示された。