[論文レビュー] 3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object Detection

He Wang, Yezhen Cong+3 more|arXiv (Cornell University)|Dec 8, 2020

Advanced Neural Network Applications参考文献 33被引用数 10

ひとこと要約

3DIoUMatch は、予測された 3D IoU を局所化の信頼度指標として用いることで、疑似ラベルの品質を向上させる、画期的な半教師付き 3D 動物体検出手法を提案する。それに加え、カテゴリに応じた自己調整型フィルタリング機構を組み合わせることで、ScanNet および SUN-RGBD で 10% のラベル付きデータで最先端の性能を達成し、mAP@0.25 で前人最高の手法より 7.7%、mAP@0.5 で 8.5% の向上を達成した。また、KITTI において半教師付き 3D 検出を初めて実証し、完全教師ありベースラインを最大 7.6% まで上回った。

ABSTRACT

3D object detection is an important yet demanding task that heavily relies on difficult to obtain 3D annotations. To reduce the required amount of supervision, we propose 3DIoUMatch, a novel semi-supervised method for 3D object detection applicable to both indoor and outdoor scenes. We leverage a teacher-student mutual learning framework to propagate information from the labeled to the unlabeled train set in the form of pseudo-labels. However, due to the high task complexity, we observe that the pseudo-labels suffer from significant noise and are thus not directly usable. To that end, we introduce a confidence-based filtering mechanism, inspired by FixMatch. We set confidence thresholds based upon the predicted objectness and class probability to filter low-quality pseudo-labels. While effective, we observe that these two measures do not sufficiently capture localization quality. We therefore propose to use the estimated 3D IoU as a localization metric and set category-aware self-adjusted thresholds to filter poorly localized proposals. We adopt VoteNet as our backbone detector on indoor datasets while we use PV-RCNN on the autonomous driving dataset, KITTI. Our method consistently improves state-of-the-art methods on both ScanNet and SUN-RGBD benchmarks by significant margins under all label ratios (including fully labeled setting). For example, when training using only 10\% labeled data on ScanNet, 3DIoUMatch achieves 7.7% absolute improvement on mAP@0.25 and 8.5% absolute improvement on mAP@0.5 upon the prior art. On KITTI, we are the first to demonstrate semi-supervised 3D object detection and our method surpasses a fully supervised baseline from 1.8% to 7.6% under different label ratios and categories.

研究の動機と目的

• 3D 動物体検出における高価な 3D アノテーションへの依存を減らすために、効果的な半教師付き学習を可能にすること。
• 複雑な 3D 検出タスクにおける教師-生徒フレームワークで生成される疑似ラベルの高ノイズ問題に対処すること。
• 分類スコアやオブジェクトネススコアを超えて、局所化の信頼度指標として 3D IoU 評価を組み込むことで、疑似ラベルの品質を向上させること。
• 高品質なラベルカバレッジと耐性の両立を図る、動的でカテゴリに応じたフィルタリング機構を設計すること。
• KITTI データセットにおいて、半教師付き 3D 動物体検出フレームワークを初めて実証し、完全教師ありベースラインを上回る性能を達成すること。

提案手法

• 未ラベルデータから生徒ネットワークを用いて疑似ラベルを生成するため、教師-生徒相互学習フレームワークを採用する。
• 予測された分類確率とオブジェクトネススコアを用いた信頼度ベースのフィルタリング機構を導入し、低品質な疑似ラベルを除外する。
• 局所化の信頼度指標として機能する、画期的な 3D IoU 評価モジュールを提案し、局所化が不正確な候補のフィルタリングを改善する。
• 2段階のフィルタリングプロセスを採用する：まず、低 IoU の閾値を用いて弱い候補をフィルタリングし、次に、IoU に従う Lower-Half Suppression (LHS) を用いて、重複度が高くかつ IoU が低いボックスの半分のみを削除する。
• 訓練時における疑似ラベルのフィルタリングと、テスト時における Non-Maximal Suppression (NMS) の両方で推定された IoU を活用し、検出精度を向上させる。
• 室内データセット（ScanNet、SUN-RGB-D）では VoteNet を、KITTI では PV-RCNN を用い、IoU モジュールを検出ヘッドに統合して手法を実装する。

Figure 1: 3DIoUMatch pipeline at semi-supervised training stage. We adopt as our backbone an extended version of VoteNet with an additional 3D IoU estimation module. For SSL, we utilize a teacher-student mutual learning framework, composed of a learnable student taking strongly augmented input data

実験結果

リサーチクエスチョン

• RQ1 3D IoU 評価は、半教師付き 3D 動物体検出における疑似ラベル品質の向上に、局所化の信頼度指標として効果的に機能するか？
• RQ2 ノイズの多い疑似ラベルにおいて、高品質なラベルカバレッジと耐性の両立を図るためのフィルタリング機構は、どのように設計できるか？
• RQ3 固定閾値または NMS に基づくフィルタリングよりも、カテゴリに応じた自己調整型しきい値戦略が、半教師付き 3D 検出で優れた性能を発揮できるか？
• RQ4 3D IoU 評価の組み込みが、屋内および屋外の両方のシーンを含む多様な 3D 検出ベンチマークで一貫した性能向上をもたらすか？
• RQ5 自動運転用データセット（例：KITTI）において、半教師付き 3D 動物体検出が成功裏に拡張可能か。かつ、先行研究が同種の結果を示していない分野であるか？

主な発見

• ScanNet においてラベル付きデータをたった 10% に制限した場合、3DIoUMatch は前人最高の手法 SESS よりも mAP@0.25 で 7.7%、mAP@0.5 で 8.5% の絶対的向上を達成した。
• SUN-RGB-D においてラベル付きデータを 5% に制限した場合、3DIoUMatch は SESS よりも mAP@0.25 で 4.8%、mAP@0.5 で 8.0% の向上を達成した。
• KITTI において、3DIoUMatch は半教師付き 3D 動物体検出を初めて実証し、さまざまなラベル比率とカテゴリにおいて、完全教師ありベースラインを 1.8% から 7.6% まで上回った。
• 提案された IoU に従う Lower-Half Suppression (LHS) は、標準的な IoU に従う NMS よりも、高品質な候補を多く保持しながらノイズの多いものを効果的にフィルタリングできる。
• 未ラベルデータに対して投票予測やオブジェクトネスを疑似ラベルで監視すると性能が低下するため、注意深くフィルタリングを行わない限り、このような監視は信頼できないことが示された。
• アブレーションスタディにより、IoU 評価を組み込んだ 3DIoUMatch メソッドが、定量的・定性的に検出精度を著しく向上させ、誤検出数も削減することが確認された。特に、ScanNet および SUN-RGB-D における定性的な結果から明らかになった。

Figure 2: 3DIoUMatch results with different IoU thresholds on ScanNet 10%.