[논문 리뷰] PolyDiffuse: Polygonal Shape Reconstruction via Guided Set Diffusion Models

Jiacheng Chen, Ruizhi Deng외 1명|arXiv (Cornell University)|2023. 06. 02.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

PolyDiffuse는 집합 기반 노이즈 제거에서의 순열 모호성을 해결함으로써 센서 데이터로부터 고해상도 다각형 형상 재구성 기능을 가능하게 하는 가이드드 세트 디퓨전 모델(GS-DM)을 도입한다. 이는 5~10개의 샘플링 스텝으로도 플로어플랜 및 고해상도 지도 재구성에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법들에 비해 기하학적 규칙성과 F1 스코어를 크게 향상시킨다.

ABSTRACT

This paper presents PolyDiffuse, a novel structured reconstruction algorithm that transforms visual sensor data into polygonal shapes with Diffusion Models (DM), an emerging machinery amid exploding generative AI, while formulating reconstruction as a generation process conditioned on sensor data. The task of structured reconstruction poses two fundamental challenges to DM: 1) A structured geometry is a ``set'' (e.g., a set of polygons for a floorplan geometry), where a sample of $N$ elements has $N!$ different but equivalent representations, making the denoising highly ambiguous; and 2) A ``reconstruction'' task has a single solution, where an initial noise needs to be chosen carefully, while any initial noise works for a generation task. Our technical contribution is the introduction of a Guided Set Diffusion Model where 1) the forward diffusion process learns guidance networks to control noise injection so that one representation of a sample remains distinct from its other permutation variants, thus resolving denoising ambiguity; and 2) the reverse denoising process reconstructs polygonal shapes, initialized and directed by the guidance networks, as a conditional generation process subject to the sensor data. We have evaluated our approach for reconstructing two types of polygonal shapes: floorplan as a set of polygons and HD map for autonomous cars as a set of polylines. Through extensive experiments on standard benchmarks, we demonstrate that PolyDiffuse significantly advances the current state of the art and enables broader practical applications.

연구 동기 및 목표

• 기존에 생성을 위해 설계된 디퓨전 모델이 재구성에 적합하지 않다는 점을 감안해, 센서 데이터로부터 구조적인 다각형 기하학을 재구성하는 데 도전하는 것.
• N개의 요소가 N!개의 동치 순열을 가질 수 있는 집합 기반 기하학의 노이즈 제거에서 발생하는 근본적인 모호성을 해결하기 위해, 개별 표현을 유지하는 가이드 네트워크를 학습하는 것.
• 인간이나 알고리즘에 의해 제공된 원시적 제안을 초기 노이즈로 사용하고, 학습된 네트워크에 의해 가이드되는 조건부 생성 프로세스로 재구성을 가능하게 하는 것.
• 특히 플로어플랜 및 고해상도 지도와 같은 복잡한 레이아웃에서 기하학적 규칙성과 정확도를 향상시키는 것.
• 디퓨전 모델이 구조적 재구성에 효과적으로 적용될 수 있음을 보여주며, 생성 AI를 넘어서는 활용 가능성을 넓히는 것.

제안 방법

• 전방 디퓨전 과정은 개별 요소마다 고유한 가우시안 목표를 정의하는 가이드 네트워크를 사용하여 다각형 형상에 노이즈를 주입함으로써 순열 모호성을 감소시킨다.
• 이러한 가이드 네트워크는 동일한 형상을 다른 표현으로 나타내는 경우를 구분할 수 있도록 학습되어 순열 모호성을 최소화한다.
• 역방향 노이즈 제거 과정은 가이드 네트워크에 의해 초기화된 노이즈에서 시작하여, 점군 밀도나 RGB 이미지와 같은 센서 데이터에 조건부로 점차적으로 형상을 정밀하게 다듬는다.
• 확률 흐름 ODE를 통한 가능도 기반 정밀 조정을 지원함으로써 불확실성 추정과 더 나은 재구성 품질을 가능하게 한다.
• 이 프레임워크는 두 가지 작업에 적용된다: Structured3D의 점 밀도 이미지에서 플로어플랜 재구성과 nuScenes의 RGB 입력에서 고해상도 지도 구축.
• 시각 인코더는 센서 데이터를 한 번만 처리하고, 생성 과정은 5~10단계 내에서 수행되어 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 디퓨전 모델이 원래 무조건적 또는 조건부 생성을 위해 설계되었음에도 불구하고, 구조적 재구성 작업에 효과적으로 적용될 수 있는가?
• RQ2 집합 기반 기하학의 노이즈 제거에서 발생하는 순열 모호성을 어떻게 해결할 수 있는가?
• RQ3 원시적 인간 또는 알고리즘 제안에서 시작하는 가이드된 노이즈 제거 프로세스가 고해상도 다각형 형상 재구성을 달성할 수 있는가?
• RQ4 제안된 가이드드 세트 디퓨전 모델이 플로어플랜 및 고해상도 지도 작업에서 기존 방법에 비해 기하학적 규칙성과 F1 스코어를 얼마나 향상시키는가?
• RQ5 디퓨전 모델의 기본 확률 흐름 ODE를 가능도 기반 정밀 조정에 활용할 수 있는가?

주요 결과

• PolyDiffuse는 10개의 샘플링 스텝만으로도 플로어플랜 재구성에서 최신 기술 수준(SOTA) 성능을 달성하며, 가장자리 검출에서 98.4의 F1 스코어를 기록한다.
• 고해상도 지도 재구성 작업에서는 Edge F1을 RoomFormer의 83.9에서 PolyDiffuse에서는 89.1로 향상시켜 기하학적 규칙성 향상이 뚜렷하게 나타난다.
• 표준 디퓨전 모델은 2단계에서 가장자리 검출 F1이 5.4에 불과하여, 가이드 메커니즘이 필수적임을 입증한다.
• 절단 분석 결과, 2.5배의 에포크로 훈련할 경우 최고의 성능(가장자리 F1 98.4)을 기록하여 가이드 네트워크 학습에 충분한 훈련의 중요성을 보여준다.
• 확률 흐름 ODE를 통한 가능도 기반 정밀 조정은 더 나은 재구성 품질을 가능하게 하며, 불확실성 인식 재구성과 같은 더 넓은 실용적 응용 분야를 지원한다.
• 시스템은 강건성과 효율성을 입증하며, 단일 시각 인코더 통과와 5~10단계 내에서 고해상도 결과를 생성한다.