[論文レビュー] Semi-supervised 3D Object Detection with Proficient Teachers

Junbo Yin, Fang Jin+5 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Neural Network Applications被引用数 9

ひとこと要約

この論文では、空間的・時間的アンサンブル（STE）による高い再現率とクラスタリングベースのボックス投票（CBV）による高い正確率を用いて、しきい値チューニングに依存せずに偽ラベル品質を向上させる、半教師付き3次元オブジェクト検出フレームワーク「ProficientTeachers」を提案する。ONCEではベースライン比で9.51 mAPの向上を達成し、Waymoでは半分のラベルデータのみを用いても完全なアノテーションを用いたオラクルモデルを上回る。

ABSTRACT

Dominated point cloud-based 3D object detectors in autonomous driving scenarios rely heavily on the huge amount of accurately labeled samples, however, 3D annotation in the point cloud is extremely tedious, expensive and time-consuming. To reduce the dependence on large supervision, semi-supervised learning (SSL) based approaches have been proposed. The Pseudo-Labeling methodology is commonly used for SSL frameworks, however, the low-quality predictions from the teacher model have seriously limited its performance. In this work, we propose a new Pseudo-Labeling framework for semi-supervised 3D object detection, by enhancing the teacher model to a proficient one with several necessary designs. First, to improve the recall of pseudo labels, a Spatialtemporal Ensemble (STE) module is proposed to generate sufficient seed boxes. Second, to improve the precision of recalled boxes, a Clusteringbased Box Voting (CBV) module is designed to get aggregated votes from the clustered seed boxes. This also eliminates the necessity of sophisticated thresholds to select pseudo labels. Furthermore, to reduce the negative influence of wrongly pseudo-labeled samples during the training, a soft supervision signal is proposed by considering Box-wise Contrastive Learning (BCL). The effectiveness of our model is verified on both ONCE and Waymo datasets. For example, on ONCE, our approach significantly improves the baseline by 9.51 mAP. Moreover, with half annotations, our model outperforms the oracle model with full annotations on Waymo.

研究の動機と目的

• 自動運転における高価な3次元点群アノテーションの依存度を低減するため、半教師付き学習を活用すること。
• 3次元オブジェクト検出における弱い教師モデルから得られる偽ラベルの高い偽陰性および偽陽性率を是正すること。
• 偽ラベルのフィルタリングにための手動しきい値選択の必要性を排除し、学習ベースの適応的集約によって実現すること。
• ボックス単位の対照学習（BCL）を用いたソフトな監督信号により、学生モデルの一般化性能を向上させること。

提案手法

• 複数の拡張されたビュー（空間的および時間的）からの予測を統合する空間的・時間的アンサンブル（STE）モジュールを導入し、高い再現率のシードボックスを生成する。
• シードボックスをクラスタリングし、投票を集約することでボックスを精緻化するクラスタリングベースのボックス投票（CBV）モジュールを採用し、しきい値なしで正確率を向上させる。
• ボックス単位の対照学習（BCL）を用いてソフトな監督信号を生成し、ノイズの多い偽ラベルが学生学習に与える悪影響を低減する。
• STEとCBVを統合することで教師モデルを「熟練教師（proficient teacher）」に発展させ、高品質な偽ラベルの生成を可能にする。
• 精緻化された偽ラベルを用いて教師・学生ネットワーク間で一貫性正則化を適用し、特徴学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的アンサンブルは、偽陽性の増加を伴わずに3次元オブジェクト検出の偽ラベル作成における再現率を向上させることができるか？
• RQ2 クラスタリングベースのボックス投票は、偽ラベル選択における手動しきい値の必要性を排除しつつ、偽ラベルを効果的に精緻化できるか？
• RQ3 ボックス単位の対照学習は、ノイズの多い偽ラベルの影響を軽減することで学生モデルの一般化性能を向上させることができるか？
• RQ4 これらのモジュールを統合した熟練教師モデルは、半分のラベルデータのみを用いても、完全にアノテーションされた教師ベースラインを上回ることができるか？

主な発見

• ONCEデータセットでは、ProficientTeachersがベースライン比で9.51 mAPの向上を達成し、限られた監視情報のもとで顕著な性能向上を示した。
• Waymoデータセットでは、半分のラベルデータのみを用いても、完全なアノテーションを用いたオラクルモデルを上回った。これは、本手法の高いデータ効率性を示している。
• 除去分析の結果、STE、CBV、BCLモジュールをすべて含む完全なモデルは57.72%のmAPを達成し、ベースライン比で1.97ポイントの向上を示した。
• CBVモジュール単体でも、ベースライン比で1.42ポイントのmAP向上を達成しており、しきい値チューニングなしで正確率を向上させる有効性が示された。
• BCLモジュール単体でもmAPに0.79ポイントの寄与を示しており、学習の安定性および一般化性能向上におけるその役割が裏付けられた。