[論文レビュー] OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic Occupancy Perception

Xiaofeng Wang, Zheng Zhu+8 more|arXiv (Cornell University)|Mar 7, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、自律走行における周囲の意味的占有状態推定のための最初の大規模ベンチマークであるOpenOccupancyを紹介する。nuScenesデータセットに、増幅・精錬（AAP）パイプラインを用いた密度の高いマルチモーダルアノテーションを拡張して提供する。カメラ、LiDAR、マルチモーダルのベースラインを確立し、計算コストを低減しながら性能を約30%向上させるキャスケード占有ネットワーク（CONet）を提案する。これにより、複雑な都市部のシーンにおける高解像度3次元占有状態予測が可能になる。

ABSTRACT

Semantic occupancy perception is essential for autonomous driving, as automated vehicles require a fine-grained perception of the 3D urban structures. However, existing relevant benchmarks lack diversity in urban scenes, and they only evaluate front-view predictions. Towards a comprehensive benchmarking of surrounding perception algorithms, we propose OpenOccupancy, which is the first surrounding semantic occupancy perception benchmark. In the OpenOccupancy benchmark, we extend the large-scale nuScenes dataset with dense semantic occupancy annotations. Previous annotations rely on LiDAR points superimposition, where some occupancy labels are missed due to sparse LiDAR channels. To mitigate the problem, we introduce the Augmenting And Purifying (AAP) pipeline to ~2x densify the annotations, where ~4000 human hours are involved in the labeling process. Besides, camera-based, LiDAR-based and multi-modal baselines are established for the OpenOccupancy benchmark. Furthermore, considering the complexity of surrounding occupancy perception lies in the computational burden of high-resolution 3D predictions, we propose the Cascade Occupancy Network (CONet) to refine the coarse prediction, which relatively enhances the performance by ~30% than the baseline. We hope the OpenOccupancy benchmark will boost the development of surrounding occupancy perception algorithms.

研究の動機と目的

• 自律走行における周囲の意味的占有状態推定のための包括的なベンチマークの不足に対処すること。
• 既存のデータセットがスケールが小さく、前方視野に限定されている、あるいは屋内シーンに特化しているという限界を克服すること。
• 大規模な屋外走行シーンにおける密度の高い意味的占有状態アノテーションのための効率的でスケーラブルなパイプラインの開発。
• 新ベンチマーク上でカメラ、LiDAR、統合モダリティのための強固なマルチモーダルベースラインの確立。
• 最小限の遅延で高解像度3次元占有状態予測が可能な計算効率の高いアーキテクチャ、CONetの設計。

提案手法

• 事前学習ベースラインからの疑似ラベルを用いてスパarsなLiDARベースの占有状態アノテーションを密度化し、人間による検証でノイズを低減する、増幅・精錬（AAP）パイプラインを提案。
• 850シーンおよび20万フレームの画像をカバーする密度の高い意味的占有状態ラベルをnuScenesデータセットに拡張し、初期のLiDAR重ね合わせに比べて約2倍の密度に到達。
• ResNetバックボーンと特徴統合戦略を用いて、カメラベース、LiDARベース、マルチモーダルベースラインを設計。アダプティブ統合が連結や加算よりも優れた性能を示した。
• 粗くから細かくまで段階的に予測を改善するキャスケード占有ネットワーク（CONet）を導入。意味的および幾何的特徴のサンプリングを用いて低解像度予測を精錬することで精度を向上。
• CONetにおけるストライドベースのサンプリング戦略を実装し、解像度と計算コストを制御。意味的および幾何的特徴の併用の有効性をアブレーションスタディで検証。
• IoUおよびmIoUなどの指標を用いて、異なる入力解像度および統合手法の下で、OpenOccupancyベンチマーク上でモデルを学習・評価。

実験結果

リサーチクエスチョン

• RQ1 大規模な屋外走行データセットにおいて、スケールに応じて効率的に高品質な密度の高い意味的占有状態アノテーションを生成する方法は何か？
• RQ2 カメラのみ、LiDARのみ、マルチモーダルのアプローチの相対的な長所と短所は何か？
• RQ3 CONetのような粗くから細かくまで段階的なネットワークアーキテクチャは、高解像度3次元占有状態予測において、計算コストを低減しつつどれほど性能を向上させられるか？
• RQ4 連結、加算、アダプティブの異なる特徴統合戦略（concatenation, addition, adaptive）は、マルチモーダル占有状態予測の性能にどのように影響するか？
• RQ5 周囲の占有状態推定において、予測解像度、GPUメモリ消費量、推論効率の間のトレードオフは何か？

主な発見

• AAPパイプラインは、初期のLiDAR重ね合わせに比べて、アノテーション密度を約2倍に向上させた。精錬には約4,000人時の人的労力が費やされた。
• マルチモーダルベースラインは、カメラベースベースラインに比べてmIoUで47%の相対的改善、LiDARベースラインに比べて29%の改善を達成した。
• 提案されたCONetは、高解像度ベースラインと比較して、性能を約30%向上させるとともに、GPUメモリ使用量を約15 GB削減、GFLOPsを約70%削減した。
• CONetで幾何的特徴のみを用いることで、ベースラインに比べてmIoUが28%向上した。意味的および幾何的特徴を併用した場合、相対的に33%の改善が得られた。
• カメラベースベースラインでは、入力解像度を1600×900に大きくすることでmIoUが20%向上した。マルチスイープLiDAR入力は、単一スイープ入力に比べてmIoUが43%向上した。
• マルチモーダルベースラインにおけるアダプティブ統合戦略は、連結と加算に比べて、それぞれmIoUで6%および5%優れていた。