[論文レビュー] BEVControl: Accurately Controlling Street-view Elements with Multi-perspective Consistency via BEV Sketch Layout

Kairui Yang, Enhui Ma+4 more|arXiv (Cornell University)|Aug 3, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

BEVControlは、編集可能なBEVスケッチレイアウトを用いる2段階の生成フレームワークを提案する。これにより、マルチビューのストリートビュー画像における前景および背景要素を正確に制御でき、幾何学的および外観的一致性が優れている。BEVGenに比べ前景セグメンテーションmIoUが20.91ポイント向上し26.80に達し、データ拡張に用いることで下流の認識モデルのNDSスコアを平均1.29ポイント向上させた。

ABSTRACT

Using synthesized images to boost the performance of perception models is a long-standing research challenge in computer vision. It becomes more eminent in visual-centric autonomous driving systems with multi-view cameras as some long-tail scenarios can never be collected. Guided by the BEV segmentation layouts, the existing generative networks seem to synthesize photo-realistic street-view images when evaluated solely on scene-level metrics. However, once zoom-in, they usually fail to produce accurate foreground and background details such as heading. To this end, we propose a two-stage generative method, dubbed BEVControl, that can generate accurate foreground and background contents. In contrast to segmentation-like input, it also supports sketch style input, which is more flexible for humans to edit. In addition, we propose a comprehensive multi-level evaluation protocol to fairly compare the quality of the generated scene, foreground object, and background geometry. Our extensive experiments show that our BEVControl surpasses the state-of-the-art method, BEVGen, by a significant margin, from 5.89 to 26.80 on foreground segmentation mIoU. In addition, we show that using images generated by BEVControl to train the downstream perception model, it achieves on average 1.29 improvement in NDS score.

研究の動機と目的

• BEVベースの画像生成における前景および背景の詳細な制御の欠如、特に物体の向きや空間的レイアウトに関して、これを解決すること。
• セグメンテーションマップの代わりに、人間がより簡単に編集できるスケッチ風のBEVレイアウトを用いることで、より柔軟で編集可能な制御入力を可能にすること。
• 生成されたシーンにおけるマルチビューの視覚的一致性およびBEVとストリートレベルのビュー間の幾何学的忠実性を向上させること。
• シーン、前景、背景の各レベルで性能を公正に測定できる包括的な評価プロトコルの構築。
• 生成画像が、耐障害性の高いBEV認識モデルの学習に向けた実世界データセットの拡張に有効であることを実証すること。

提案手法

• 幾何学的および外観的制御のための専用のコントローラーとコーディネーター・モジュールを備えた2段階のUNetベースの生成ネットワークを採用する。
• コントローラーは自己注意機構を用いてBEVレイアウトからの前景および背景のスケッチヒントを符号化し、幾何学的に整合性のあるストリートビュー特徴を生成する。
• コーディネーターは、複数のカメラビュー間で視覚的一致性を強制する、新しいクロスビュー・クロスエレメント注意メカニズムを適用する。
• テキストプロンプトをクロス注意を介して統合し、外観生成をガイドしながらも、BEVスケッチとの幾何学的整合性を維持する。
• 前景および背景の制御を別々のストリームに分離することで、より焦点を当てた的確な操作を可能にする。
• 前景および背景のヒントを統合的に埋め込むために、1つの注意層を用いて潜在空間に統合的に統合する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションベースの入力と比較して、スケッチベースのBEVレイアウトは、マルチビューのストリートビュー画像生成における前景および背景要因の制御において、より正確で編集可能な制御を可能にするか？
• RQ2 コントローラー設計をどのように最適化することで、鳥眼視点とストリートレベルのビュー間の幾何学的一致性を向上させられるか？
• RQ3 コーディネーターにおけるクロスビューおよびクロスエレメント注意は、複数のカメラ視点間で視覚的一致性をどの程度向上させるか？
• RQ4 BEVControlは、多様で現実的かつ幾何学的に正確なシーンを生成でき、下流の認識モデルの性能を向上させられるか？
• RQ5 mIoU、CLIPスコア、NDS精度の観点から、提案手法はSOTA手法と定量的に比較してどの程度優れているか？

主な発見

• BEVControlは前景セグメンテーションmIoUを26.80に達し、BEVGenの5.89を大きく上回り、物体生成における優れた幾何学的正確性を示した。
• BEVControlで拡張されたデータで学習した場合、下流のBEVFormer物体検出モデルのNDSスコアが平均1.29ポイント向上した。
• 完全なコーディネーターを用いた場合、ビュー間の視覚的一致性のCLIPスコアは82.70に達し、クロスビューおよびクロスエレメント注意が外観の一貫性を向上させることを示した。
• アブレーションスタディの結果、前景および背景の別々のストリームを備えた完全なコントローラーが、統合処理よりも優れた制御を実現することが確認された。
• 可視化結果から、BEVControlはスケッチに指定された物体の向きや道路レイアウトを正確に捉えているのに対し、ベースライン手法はしばしば車両の向きを逆転させる傾向にあった。
• スケッチ入力を用いることで、ピxls単位のセグメンテーションマップ編集に比べ、より高速かつ直感的な編集が可能となり、データ拡張における使いやすさが向上した。