[論文レビュー] OVO: Open-Vocabulary Occupancy

Zhiyu Tan, Zichao Dong+4 more|arXiv (Cornell University)|May 25, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

OVOは、トレーニング中に3Dアノテーションを必要としない、モデルに依存しないオープンボリューム3Dセマンティックオクキュパンシー予測の新規フレームワークを提案する。事前学習済み2Dオープンボリュームセマンティックセグメンテーションモデルからの知識蒸留と、ピクセルボクセルフィルタリングを用いた高品質なボクセル選択を活用することで、NYUv2およびSemanticKITTIで競争力ある性能を達成し、任意のテキストクエリを用いた新規オブジェクトカテゴリのゼロショット予測を可能にする。

ABSTRACT

Semantic occupancy prediction aims to infer dense geometry and semantics of surroundings for an autonomous agent to operate safely in the 3D environment. Existing occupancy prediction methods are almost entirely trained on human-annotated volumetric data. Although of high quality, the generation of such 3D annotations is laborious and costly, restricting them to a few specific object categories in the training dataset. To address this limitation, this paper proposes Open Vocabulary Occupancy (OVO), a novel approach that allows semantic occupancy prediction of arbitrary classes but without the need for 3D annotations during training. Keys to our approach are (1) knowledge distillation from a pre-trained 2D open-vocabulary segmentation model to the 3D occupancy network, and (2) pixel-voxel filtering for high-quality training data generation. The resulting framework is simple, compact, and compatible with most state-of-the-art semantic occupancy prediction models. On NYUv2 and SemanticKITTI datasets, OVO achieves competitive performance compared to supervised semantic occupancy prediction approaches. Furthermore, we conduct extensive analyses and ablation studies to offer insights into the design of the proposed framework. Our code is publicly available at https://github.com/dzcgaara/OVO.

研究の動機と目的

• 既存の3Dセマンティックオクキュパンシー・モデルが、固定されたオブジェクトクラスのための高コストな事前定義された3Dアノテーションに依存するスケーラビリティの制限を解消すること。
• トレーニング中に見られなかった任意のセマンティッククラスのゼロショット予測を可能にし、現在のオクキュパンシー・ネットワークにおけるラベルセットのボトルネックを克服すること。
• 最新のオクキュパンシー予測モデルと互換性があり、再トレーニングを必要としない、シンプルでコンactで効果的なフレームワークの開発。
• 2Dオープンボリュームモデルから3Dオクキュパンシー・ネットワークへの知識蒸留の有効性を検証し、ゼロショット一般化を実現すること。
• トレーニングデータの品質、特にボクセルフィルタリングと特徴量のアライメントがモデル性能に与える影響を分析すること。

提案手法

• 事前学習済み2Dオープンボリュームセグメンテーションモデル（LSeg）から3Dオクキュパンシー・ネットワークへの知識蒸留を適用し、2Dの意味的理解を3D空間に転送する。
• 3段階の特徴量アライメントプロセスを導入：ボクセルピクセル、ボクセルテキスト、ピクセルピクセルのアライメントにより、2D画像特徴量と3Dボクセル特徴量、テキスト埋め込みを一致させる。
• ボクセルピクセルアライメント時に再重み付けを適用し、2Dモデルのノイズが多いまたは信頼度の低い予測を低減することで、トレーニングの安定性と性能を向上させる。
• 複数段階のボクセルフィルタリング機構を用いて、画像外、遮蔽されている、または複数視点で一貫性のないボクセルを除去することで、高品質なトレーニングボクセルを選択する。
• フレームワークはモデルに依存せず、MonoSceneなどの既存のオクキュパンシー・ネットワークとも互換性があり、わずかなアーキテクチャ的追加で実装可能である。
• 推論時にテキストクエリが使用され、任意のセマンティッククラスのオクキュパンシーを予測可能となり、トレーニングラベルセットを超えたゼロショット一般化を実現する。

Figure 1: Open-Vocabulary Occupancy (OVO) from a monocular camera. Existing occupancy networks rely on fully-labeled training examples for dense semantic occupancy prediction. Given an RGB input, our method can predict dense semantic occupancy for object categories that have not been annotated in th

実験結果

リサーチクエスチョン

• RQ1 事前学習済み2Dオープンボリュームモデルからの知識蒸留が、3Dアノテーションなしに3Dオクキュパンシー予測への意味的理解を効果的に転送できるか？
• RQ2 トレーニングボクセルの品質が、ゼロショット3Dセマンティックオクキュパンシー予測の性能に与える影響はいかほどか？
• RQ3 提案された特徴量アライメントモジュール（ボクセルピクセル、ボクセルテキスト、ピクセルピクセル）の各成分が最終性能に果たす寄与度は？
• RQ4 ノイズの多い予測の再重み付けが、蒸留プロセスとモデル一般化にどの程度効果をもたらすか？
• RQ5 提案されたフレームワークは、トレーニングデータに存在しない新規オブジェクトカテゴリ、特に曖昧またはレアな記述を持つものに対しても一般化可能か？

主な発見

• OVOはNYUv2データセットにおける新規クラスでmIoU 20.15%を達成し、3Dアノテーションなしのベースライン手法を顕著に上回る。
• アブレーションスタディの結果、ボクセルピクセルアライメントにおける再重み付けの導入によりmIoUが2.49ポイント向上し、ノイズ低減の重要性が明確になった。
• 3つのボクセルフィルタリング機構（画像外、遮蔽、一貫性のないもの）を適用することで、トレーニングボクセル数は270万から36万に削減されたが、mIoUは5.78ポイント向上し、品質が量を上回ることを実証した。
• OVOモジュールの追加による計算コストの増加は、ベースのMonoSceneモデルと比較してわずか14%にとどまり、高い効率性を示した。
• 定性的な結果から、OVOは『ベッド』『テーブル』『車』『道路』といった新規クラスを、低視界や視界外の状況でも正しく予測していることが確認された。
• 『オブジェクト』や『家具』といったオープンボリュームクエリに対しても、モデルは効果的に一般化しており、強力なゼロショット能力を示している。

Figure 2: Overall pipeline of Open-Vocabulary Occupancy (OVO) . Our framework enables knowledge distillation (see Section 3.2 ) from a pre-trained 2D open-vocabulary segmentation model ( $E_{\text{seg}}$ in the upper row) to the 3D occupancy network ( $E_{\text{2D}}$ – $E_{\text{3D}}$ in the middle