[論文レビュー] PanoDiffusion: 360-degree Panorama Outpainting via Diffusion

Tianhao Wu, Chuanxia Zheng+1 more|arXiv (Cornell University)|Jul 6, 2023

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

PanoDiffusionは、学習中にRGBおよび深度パノラマを活用する新しい二モード潜在拡散モデルを導入し、部分的にしか見えないRGB入力から、高品質で多様性に富み、ぐるりとつながりのある一貫性を持つ360°インdoor RGB-Dパノラマを生成する。段階的なカメラ回転と二端のアライメント機構を組み込むことで、構造的整合性と深度入力の変動に対するロバスト性が著しく向上し、最先端の性能を達成する。

ABSTRACT

Generating complete 360-degree panoramas from narrow field of view images is ongoing research as omnidirectional RGB data is not readily available. Existing GAN-based approaches face some barriers to achieving higher quality output, and have poor generalization performance over different mask types. In this paper, we present our 360-degree indoor RGB-D panorama outpainting model using latent diffusion models (LDM), called PanoDiffusion. We introduce a new bi-modal latent diffusion structure that utilizes both RGB and depth panoramic data during training, which works surprisingly well to outpaint depth-free RGB images during inference. We further propose a novel technique of introducing progressive camera rotations during each diffusion denoising step, which leads to substantial improvement in achieving panorama wraparound consistency. Results show that our PanoDiffusion not only significantly outperforms state-of-the-art methods on RGB-D panorama outpainting by producing diverse well-structured results for different types of masks, but can also synthesize high-quality depth panoramas to provide realistic 3D indoor models.

研究の動機と目的

• 部分的に欠損したRGB入力からの現実的で多様かつ構造的に一貫性のある360°インdoorパノラマを生成する課題に対処すること。
• GANベースの手法の限界（モード崩壊や不安定な学習）を克服するため、安定した潜在拡散フレームワークを採用すること。
• 推論時に深度が利用可能でない場合でも、学習時に深度情報を統合することで、パノラマアウトペイントの品質を向上させること。
• 360°画像の円筒的性質に起因する左端と右端が滑らかに接続されるぐるりとつながりのある一貫性を確保すること。
• 同時に高精細なRGBおよび深度マップの合成を可能にし、現実的な3Dインドアシーン再構築を促進すること。

提案手法

• 学習時にRGBおよび深度パノラマ特徴量を同時に条件として用いる二モード潜在拡散モデルを提案し、ネットワークが空間的レイアウトとオブジェクト構造を学習できるようにする。
• 各ノイズ除去ステップにおいて段階的なカメラ回転を導入し、回転された視点間で一貫したコンテンツを生成するようにモデルを学習させることで、グローバルな整合性を向上させる。
• 各ノイズ除去ステップで両端アライメント機構を適用し、出力パノラマの左端と右端の領域間の差を明示的に最小化する。
• マスクされたRGB入力と対応する深度マップを用いて、Structured3Dデータセット上で学習を行うが、推論時には深度を必要としない。
• 推論時には、部分的にしか見えないRGB画像のみを入力とし、モデルは1回の順伝播で完全なRGBおよび深度パノラマを生成する。
• クロスアテンション機構を用いた潜在拡散アーキテクチャを採用し、外観とジオメトリの両方を統合的にモデリングする。

実験結果

リサーチクエスチョン

• RQ1 推論時に深度を必要としない状況でも、潜在拡散モデルが不完全なRGB入力から多様で現実的である360°RGB-Dパノラマを効果的に生成できるか？
• RQ2 学習時に深度の監視を組み込むことで、アウトペイントされたパノラマの品質と構造的一致性がどの程度向上するか？
• RQ3 ノイズ除去中に段階的なカメラ回転を適用することで、生成されたパノラマにおけるぐるりとつながりのある一貫性がどの程度向上するか？
• RQ4 既存手法と比較して、推論時の深度入力の可視性が変動する状況下でも、モデルのロバスト性はどの程度高いか？
• RQ5 モデルが同時に高品質な深度マップを合成できるか、これはRGBのみの入力から3Dシーンジオメトリを効果的に学習していることを示唆するか？

主な発見

• PanoDiffusionは、Structured3Dデータセットで最先端の性能を達成し、BIPS や OmniDreamer といったSOTA手法を、すべてのマスクタイプにおいてRGBおよび深度の両方の合成で上回った。
• 学習時に僅か50％のスパース深度入力しか使用しなくても、完全な深度で学習した標準的なLDMよりも優れたRGBアウトペイント結果を生成した。
• 推論時の深度入力のスパarsity（疎らかさ）に対してもモデルはロバストである：性能は安定しており、深度可視性が低下すると著しく劣化するBIPSよりも優れている。
• PanoDiffusionの二端アライメント機構により、ランダムボックスマスクにおける左-右一貫性誤差（LRCE）が85.04にまで低下し、BIPS（148.78）やOmniDreamer（136.68）よりも顕著に低い水準にまで改善された。
• モデルは正確な深度マップを生成し、表2(c)の大多数の指標で最高のパフォーマンスを記録した。これは、3Dレイアウト理解が効果的に行われていることを示している。
• 驚くべきことに、テスト時に完全に可視な深度が与えられると性能がわずかに低下した。これは、モデルがモダリティの不均衡に一般化できるように学習しており、深度に過剰に依存していないことを示している。