[논문 리뷰] PanoDiffusion: 360-degree Panorama Outpainting via Diffusion

Tianhao Wu, Chuanxia Zheng외 1명|arXiv (Cornell University)|2023. 07. 06.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

PanoDiffusion는 훈련 중 RGB 및 깊이 풍경을 모두 활용하여 부분적으로 노출된 RGB 입력에서 고품질, 다양한, 래핑-일致성 있는 360° 실내 RGB-D 풍경을 생성하는 새로운 이중모달 잠재 확산 모델을 제안한다. 노이즈 제거 중 점진적인 카메라 회전과 이중 끝 정렬 기법을 통합함으로써 구조적 일致성과 깊이 입력 변동에 대한 강건성을 크게 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Generating complete 360-degree panoramas from narrow field of view images is ongoing research as omnidirectional RGB data is not readily available. Existing GAN-based approaches face some barriers to achieving higher quality output, and have poor generalization performance over different mask types. In this paper, we present our 360-degree indoor RGB-D panorama outpainting model using latent diffusion models (LDM), called PanoDiffusion. We introduce a new bi-modal latent diffusion structure that utilizes both RGB and depth panoramic data during training, which works surprisingly well to outpaint depth-free RGB images during inference. We further propose a novel technique of introducing progressive camera rotations during each diffusion denoising step, which leads to substantial improvement in achieving panorama wraparound consistency. Results show that our PanoDiffusion not only significantly outperforms state-of-the-art methods on RGB-D panorama outpainting by producing diverse well-structured results for different types of masks, but can also synthesize high-quality depth panoramas to provide realistic 3D indoor models.

연구 동기 및 목표

• 부분적으로 노출된 RGB 입력에서 실재성 있고 다양한, 구조적으로 일관된 360° 실내 풍경을 생성하는 데 도전하는 것.
• 모드 붕괴와 안정적인 학습이 어려운 GAN 기반 방법의 한계를 극복하기 위해 안정적인 잠재 확산 프레임워크를 채택하는 것.
• 추론 시 깊이 정보가 제공되지 않더라도 훈련 단계에서 깊이 정보를 통합함으로써 풍경 외삽 품질을 향상시키는 것.
• 360° 이미지의 원통형 성격으로 인해 왼쪽과 오른쪽 끝이 매끄럽게 일치해야 하는 래핑-일치성을 확보하는 것.
• 동시에 고정밀도의 RGB 및 깊이 맵을 합성하여 현실적인 3D 실내 환경 재구성에 기여하는 것.

제안 방법

• 훈련 중 RGB 및 깊이 풍경 특징을 함께 조건으로 삼는 이중모달 잠재 확산 모델을 제안하여, 네트워크가 공간 레이아웃과 객체 구조를 학습할 수 있도록 한다.
• 각 노이즈 제거 단계에서 점진적인 카메라 회전을 도입하여, 모델이 다양한 시점에서 일관된 콘텐츠를 생성하도록 훈련함으로써 전반적인 일관성을 향상시킨다.
• 모든 노이즈 제거 단계에서 양끝 정렬 기법을 적용하여 출력 풍경의 왼쪽 끝과 오른쪽 끝 영역 간의 차이를 명시적으로 최소화한다.
• 마스크된 RGB 입력과 해당 깊이 맵을 사용하여 Structured3D 데이터셋에서 훈련하며, 추론 시에는 깊이 정보가 필요하지 않다.
• 추론 시에는 부분적으로 노출된 RGB 이미지만 입력으로 사용하고, 단일 전방 전파에서 완전한 RGB 및 깊이 풍경을 동시에 생성한다.
• 교차 어텐션 메커니즘을 활용한 잠재 확산 아키텍처를 통해 RGB 및 깊이 특징을 동시에 고려함으로써 외관과 기하학적 특성을 공동으로 모델링한다.

실험 결과

연구 질문

• RQ1 추론 시 깊이 정보가 없더라도, 잠재 확산 모델이 불완전한 RGB 입력에서 다양하고 현실적인 360° RGB-D 풍경을 효과적으로 생성할 수 있는가?
• RQ2 훈련 단계에서 깊이 감독을 통합하면 외삽된 풍경의 품질과 구조적 일관성이 어떻게 향상되는가?
• RQ3 노이즈 제거 중 점진적인 카메라 회전이 생성된 풍경의 래핑-일치성에 얼마나 기여하는가?
• RQ4 기존 방법과 비교해 볼 때, 추론 시 깊이 입력의 가시도가 다양할 경우 모델의 강건성은 어떠한가?
• RQ5 모델이 동시에 고품질의 깊이 맵을 합성할 수 있는가를 통해 RGB만으로도 3D 환경 기하학을 효과적으로 학습했는가를 판단할 수 있는가?

주요 결과

• PanoDiffusion는 Structured3D 데이터셋에서 최신 기술 수준의 성능을 달성하여, BIPS 및 OmniDreamer와 같은 SOTA 기법보다 모든 마스크 유형에서 RGB 및 깊이 합성 측면에서 뛰어난 성능을 보였다.
• 훈련 시 50%의 희박한 깊이 입력만으로도, 전체 깊이를 사용해 훈련된 표준 LDM보다 더 나은 RGB 외삽 결과를 도출했다.
• 모델은 추론 시 깊이 입력의 희박성에 강건하다: 성능은 안정적이며 BIPS보다 뛰어나지만, BIPS는 깊이 가시도가 감소함에 따라 성능이著しく 악화된다.
• PanoDiffusion의 이중 끝 정렬 기법은 랜덤 박스 마스크에서 왼쪽-오른쪽 일치 오차(LRCE)를 85.04로 낮추어 BIPS(148.78) 및 OmniDreamer(136.68)보다 유의미하게 낮춘다.
• 모델은 정확한 깊이 맵을 생성하여 표 2(c)에서 대부분의 지표에서 최고 성능을 기록하여 효과적인 3D 레이아웃 이해 능력을 보였다.
• 놀랍게도, 테스트 시에 깊이가 완전히 가시할 경우 성능이 약간 떨어지며, 이는 모델이 모odal 불균형을 일반화하고 깊이에 과도하게 의존하지 않는다는 것을 시사한다.