[論文レビュー] 3DOS: Towards 3D Open Set Learning -- Benchmarking and Understanding Semantic Novelty Detection on Point Clouds

Antonio Alliegro, Francesco Cappio Borlino+1 more|arXiv (Cornell University)|Jul 23, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、点群における3Dオープンセット学習のための最初のベンチマークである3DOSを紹介する。合成データから合成データ、実データから実データ、合成データから実データの設定において、メソッドの意味的ノイズ検出性能を評価する。その結果、PointNet++を用いた単純な手法（Cosine proto や MSP）が、複雑な最先端の2Dオープンセット手法を上回ることが多く、ドメインシフトの課題とPointNet++の現実世界におけるロバスト性を浮き彫りにしている。

ABSTRACT

In recent years there has been significant progress in the field of 3D learning on classification, detection and segmentation problems. The vast majority of the existing studies focus on canonical closed-set conditions, neglecting the intrinsic open nature of the real-world. This limits the abilities of robots and autonomous systems involved in safety-critical applications that require managing novel and unknown signals. In this context exploiting 3D data can be a valuable asset since it provides rich information about the geometry of perceived objects and scenes. With this paper we provide the first broad study on 3D Open Set learning. We introduce 3DOS: a novel testbed for semantic novelty detection that considers several settings with increasing difficulties in terms of semantic (category) shift, and covers both in-domain (synthetic-to-synthetic, real-to-real) and cross-domain (synthetic-to-real) scenarios. Moreover, we investigate the related 2D Open Set literature to understand if and how its recent improvements are effective on 3D data. Our extensive benchmark positions several algorithms in the same coherent picture, revealing their strengths and limitations. The results of our analysis may serve as a reliable foothold for future tailored 3D Open Set methods.

研究の動機と目的

• 3Dオープンセット学習のための標準化された評価の欠如、特に分布シフトを伴う現実世界の展開状況における課題を解決すること。
• 既存の2Dオープンセット手法を3D点群データに適用して、その移植性と有効性を評価すること。
• 3D点群分類における意味的シフトとドメインシフトに対処するための、最もロバストなアーキテクチャと手法を同定すること。
• 今後の3Dオープンセット学習手法の開発を可能にする包括的かつ再現可能なベンチマークを提供すること。

提案手法

• 分布シフトの度合いが増すように、合成、実データから実データ、合成から実データの3つの設定をカバーする、3DOSというマルチトラックベンチマークを提案。
• PointNet++、DGCNN、その他の複数のバックボーンネットワークを用いて、アーキテクチャ選択がオープンセット性能に与える影響を分析。
• MSP、ODIN、エナジースコア、GradNorm、ReAct、および距離ベースの手法（Cosine proto や CE(L²)）を含む、多様なOOD検出技術を適用。
• ドメインシフト下での一般化を向上させるために、SubArcFaceとmixupベースのデータオーグメンテーションを導入。
• 主な評価指標としてAUROCとFPR95を用い、すべてのベンチマークで検出性能を評価。
• バックボーン選択とメソッドパフォーマンスに関するアブレーションスタディを実施。閉じたセットの精度との比較も含む。

実験結果

リサーチクエスチョン

• RQ1 最先端の2Dオープンセット手法は、分布シフトの度合いが異なる3D点群データに対して、どのように性能を示すか？
• RQ2 3Dオープンセット学習において、ドメインシフトと意味的シフトに対して、PointNet++とDGCNNのどちらのバックボーンアーキテクチャがより優れたロバスト性を示すか？
• RQ3 意味的シフトとドメインシフトの併存が、3Dにおける既存のオープンセット手法の性能にどの程度悪影響を及えるか？
• RQ4 MSP や Cosine proto といった単純な表現学習手法が、3Dにおいて複雑な最先端の2DベースのOOD検出技術を上回る可能性はあるか？
• RQ5 モデルの一般化能力という観点から、3つのベンチマークトラック（合成、実データから実データ、合成から実データ）の相対的な難易度はどの程度か？

主な発見

• PointNet++は、すべてのベンチマークでDGCNNを一貫して上回り、現実世界のデータにおけるノイズとドメインシフトに対して優れたロバスト性を示している。
• 合成から実データのベンチマークにおいて、PointNet++を用いたMSPベースラインは、DGCNNを用いたものと比較してAUROCで8.9ポイント、FPR95で7.4ポイント高い性能を達成した。
• 実データから実データのベンチマークにおいて、Cosine protoはDGCNNおよびPointNet++の両方で最良の全体的パフォーマンスを示し、より複雑な手法を上回った。
• SubArcFaceは、すべてのバックボーンと設定で最高の平均AUROCを達成し、ドメインシフト下での一般化性能が優れていることを示した。
• MSPに対する高度な手法の改善は、合成ベンチマークでは顕著（+3.1 AUROC）であったが、クロスドメイン設定では著しく低下（実データから実データでは僅か+0.6 AUROC）しており、現実世界の展開においては限られた利点しか得られないことが示唆された。
• 距離ベースの手法（CE(L²) や Cosine proto）は、ベースライン手法と比較して点密度の変動に対して感受性が低く、スパarsityに対して本質的にロバストであることが示唆された。