[論文レビュー] Era3D: High-Resolution Multiview Diffusion using Efficient Row-wise Attention

Peng Li, Yuan Liu+11 more|arXiv (Cornell University)|May 19, 2024

Advanced Image Processing Techniques被引用数 4

ひとこと要約

Era3Dは、焦点距離と仰角を推定する拡散ベースのカメラ予測モジュールと、エピポール制約を強制するロウワイズアテンション機構を導入することで、単一視点入力から512×512のマルチビュー画像を生成する高解像度マルチビュー拡散モデルを提案する。これにより計算量が12倍削減され、高精細な3Dメッシュ再構築が可能となり、解像度とカメラ内部パrameterの不一致に対するロバスト性において、先行手法を上回る性能を発揮する。

ABSTRACT

In this paper, we introduce Era3D, a novel multiview diffusion method that generates high-resolution multiview images from a single-view image. Despite significant advancements in multiview generation, existing methods still suffer from camera prior mismatch, inefficacy, and low resolution, resulting in poor-quality multiview images. Specifically, these methods assume that the input images should comply with a predefined camera type, e.g. a perspective camera with a fixed focal length, leading to distorted shapes when the assumption fails. Moreover, the full-image or dense multiview attention they employ leads to an exponential explosion of computational complexity as image resolution increases, resulting in prohibitively expensive training costs. To bridge the gap between assumption and reality, Era3D first proposes a diffusion-based camera prediction module to estimate the focal length and elevation of the input image, which allows our method to generate images without shape distortions. Furthermore, a simple but efficient attention layer, named row-wise attention, is used to enforce epipolar priors in the multiview diffusion, facilitating efficient cross-view information fusion. Consequently, compared with state-of-the-art methods, Era3D generates high-quality multiview images with up to a 512*512 resolution while reducing computation complexity by 12x times. Comprehensive experiments demonstrate that Era3D can reconstruct high-quality and detailed 3D meshes from diverse single-view input images, significantly outperforming baseline multiview diffusion methods. Project page: https://penghtyx.github.io/Era3D/.

研究の動機と目的

• 既存のマルチビュー拡散モデルが固定されたカメラタイプを仮定しているという制限を解決し、入力画像が事前定義された内部パrameterから逸脱する場合の形状歪みを回避すること。
• 解像度が高くなるとスケーリングが著しく悪化するため、密なマルチビューアテンションの計算複雑度を低減すること。
• 高解像度（512×512）のマルチビュー画像生成を可能にし、3D再構築の忠実度を向上させること。
• 入力画像からエンドツーエンドにカメラパラメータを学習することで、任意のカメラ内部パラメータおよび視点に対してロバストな性能を発揮すること。
• マルチビューの一貫性と幾何的正確性を保証することで、生成されたマルチビュー画像から正確な3Dメッシュ再構築を可能にすること。

提案手法

• 拡散ベースのカメラ予測モジュールにより、入力画像の焦点距離と仰角を推定し、形状の歪みが生じないよう任意のカメラ内部パラメータに適応可能にする。
• 新規のロウワイズアテンション機構により、視点間の対応する行にのみアテンションを適用することでエピポール制約を強制し、計算量をO(N²S⁴)からO(N²S³)に削減する。
• 正規化カメラ設定（直交カメラ、固定仰角0°）で動作させることで、エピポール幾何学を単純化し、効率的なアテンション計算を可能にする。
• 視点間のクロスアテンションを有するノイズ除去U-Netを用い、アテンションは主に一致する行に沿ったエピポール線に制限して計算する。
• トレーニング段階でカメラ予測は真値のポーズを用いて監視され、ノイズ除去ステップにおける誤差蓄積を防ぐために正則化が施される。
• 条件画像をランダムにドロップする訓練をサポートすることで、汎化性能とロバスト性が向上する。

Figure 1 : Given single-view image with arbitrary intrinsic and viewpoints, Era3D can generate high-quality multiview images with a resolution of $512\times 512$ on the orthogonal camera setting, which can be used in mesh reconstruction by NeuS [ 102 ] .

実験結果

リサーチクエスチョン

• RQ1 単一視点入力から焦点距離と仰角のカメラ内部パラメータを正確に予測できるか。これにより、歪みのないマルチビュー生成が可能になるか。
• RQ2 高解像度においても、クロスビューの一貫性を損なわずにマルチビューアテンションを計算的に効率化できるか。
• RQ3 密なマルチビューアテンションと比較して、ロウワイズアテンションはエピポール幾何学をどの程度正確に保持し、生成品質を向上できるか。
• RQ4 提案手法は高解像度（512×512）のマルチビュー画像を生成でき、正確な3Dメッシュ再構築を可能にするか。
• RQ5 焦点距離や視点の変化に対して、この手法はどの程度ロバストか。

主な発見

• Era3Dは、密なマルチビューアテンションをロウワイズアテンションに置き換えることで、最先端のマルチビュー拡散モデルと比較して計算量を12倍削減した。
• 本モデルは512×512解像度の高解像度マルチビュー画像を生成可能であり、先行手法の256×256制限を著しく超えた。
• GSOデータセットでは、平均仰角予測誤差が0.29°、分散は32.1にとどまり、高い精度とロバスト性を示した。
• 焦点距離予測誤差は平均で0.01（正規化済み）にまで低下し、ベースラインより分散が小さく、さまざまな焦点距離に強い汎化性能を示した。
• 多様なカメラ設定（例：f=135mmの極端な焦点距離、α=40°の仰角）下でも、再構築メッシュのチャーム距離（CD）は0.022未満を維持し、優れた幾何的忠実度を示した。
• 視覚的結果では、実世界のインターネット画像を含む多様な入力に対し、一貫性があり歪みのないマルチビュー生成が実現され、正確なノーマルマップとメッシュ再構築が得られた。

Figure 2 : Different types of multiview attention layers. ( a ) In a dense multiview attention layer, all feature vectors of multiview images are fed into an attention block. For a general camera setting ( b ) with arbitrary viewpoints and intrinsics, utilizing epipolar constraint to construct an ep