[論文レビュー] PolyDiffuse: Polygonal Shape Reconstruction via Guided Set Diffusion Models

Jiacheng Chen, Ruizhi Deng+1 more|arXiv (Cornell University)|Jun 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

PolyDiffuseは、集合ベースのノイズ除去における順列のあいまいさを解消することで、センサデータからの高精度な多角形形状再構成を可能にするガイド付き集合拡散モデル（GS-DM）を導入した。5〜10ステップのサンプリングで、フロアプランおよびHDマップ再構成において最先端の性能を達成し、従来手法に比べて幾何学的規則性とF1スコアが顕著に向上した。

ABSTRACT

This paper presents PolyDiffuse, a novel structured reconstruction algorithm that transforms visual sensor data into polygonal shapes with Diffusion Models (DM), an emerging machinery amid exploding generative AI, while formulating reconstruction as a generation process conditioned on sensor data. The task of structured reconstruction poses two fundamental challenges to DM: 1) A structured geometry is a ``set'' (e.g., a set of polygons for a floorplan geometry), where a sample of $N$ elements has $N!$ different but equivalent representations, making the denoising highly ambiguous; and 2) A ``reconstruction'' task has a single solution, where an initial noise needs to be chosen carefully, while any initial noise works for a generation task. Our technical contribution is the introduction of a Guided Set Diffusion Model where 1) the forward diffusion process learns guidance networks to control noise injection so that one representation of a sample remains distinct from its other permutation variants, thus resolving denoising ambiguity; and 2) the reverse denoising process reconstructs polygonal shapes, initialized and directed by the guidance networks, as a conditional generation process subject to the sensor data. We have evaluated our approach for reconstructing two types of polygonal shapes: floorplan as a set of polygons and HD map for autonomous cars as a set of polylines. Through extensive experiments on standard benchmarks, we demonstrate that PolyDiffuse significantly advances the current state of the art and enables broader practical applications.

研究の動機と目的

• 拡散モデルが本来生成用途に設計されていることを踏まえ、センサデータからの構造的多角形幾何形状の再構成という課題に取り組むこと。
• 同じ形状の等価な順列がN!通り存在する集合ベースの幾何形状のノイズ除去における根本的なあいまいさを解消し、個別的な表現を保持するガイドネットワークを学習することで、そのあいまいさを解消すること。
• 人間やアルゴリズムによる粗い提案を初期化として用い、学習済みネットワークによってガイドされる条件付き生成プロセスとして再構成を可能にすること。
• 特にフロアプランやHDマップのような複雑なレイアウトにおいて、多角形形状出力の幾何学的規則性と忠実度を向上させること。
• 拡散モデルが構造的再構成に効果的に適応可能であることを示し、生成AIを超えた応用可能性を拡張すること。

提案手法

• 前方拡散プロセスは、個々の要素ごとにガウス的ターゲットを定義するガイドネットワークを用いて、多角形形状にノイズを注入し、順列のあいまいさを低減する。
• これらのガイドネットワークは、同じ形状の等価な表現を区別できるように学習されることで、順列のあいまいさを最小限に抑える。
• 逆方向のノイズ除去プロセスは、ガイドネットワークによって初期化されたノイズから開始され、ポイントクラウド密度やRGB画像などのセンサデータに条件付けられて段階的に形状を精錬する。
• 確率フローODEを介した尤度ベースの精錬をサポートすることで、不確実性推定とより高い再構成品質を実現する。
• 本フレームワークは2つのタスクに適用される：Structured3Dのポイント密度画像からのフロアプラン再構成と、nuScenesのRGB入力からのHDマップ構築。
• 視覚エンコーダはセンサデータを一度処理し、生成プロセスは5〜10ステップで実行され、効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、元々非条件付きまたは条件付き生成を目的として設計されているが、構造的再構成タスクに効果的に適応可能か？
• RQ2 集合ベースの幾何形状のノイズ除去における順列のあいまいさは、どのように解消可能か？
• RQ3 人間やアルゴリズムによる粗い提案から初期化されたガイド付きノイズ除去プロセスは、高精度な多角形形状再構成を達成可能か？
• RQ4 提案されたガイド付き集合拡散モデルは、フロアプランおよびHDマップタスクにおいて、従来手法に比べて幾何学的規則性とF1スコアをどの程度向上させるか？
• RQ5 拡散モデルの背後にある確率フローODEは、再構成における尤度ベースの精錬に活用可能か？

主な発見

• PolyDiffuseは、10ステップのサンプリングで僅かに10ステップでフロアプラン再構成において最先端の性能を達成し、エッジ検出のF1スコアが98.4を記録した。
• HDマップ再構成タスクでは、エッジF1スコアをRoomFormerの83.9から89.1に向上させ、幾何学的規則性の顕著な向上を示した。
• 標準的な拡散モデルは2ステップでエッジ検出のF1スコアがたった5.4にとどまるのに対し、本手法はその必要性を浮き彫りにした。
• アブレーションスタディの結果、2.5倍のエポックで学習を行うと最高の性能（エッジF1スコア98.4）が得られ、ガイドネットワーク学習のための十分な学習の重要性が示された。
• 確率フローODEを介した尤度ベースの精錬により、より高い再構成品質が達成され、不確実性を伴う再構成を含む幅広い実用的応用を支援した。
• 本システムは、1回の視覚エンコーダープassesで5〜10ステップで高品質な結果を生成するという点で、頑健性と効率性を示した。