[論文レビュー] SF-UDA$^{3D}$: Source-Free Unsupervised Domain Adaptation for LiDAR-Based 3D Object Detection

Cristiano Saltori, Stéphane Lathuilière+3 more|arXiv (Cornell University)|Oct 16, 2020

Advanced Neural Network Applications参考文献 48被引用数 10

ひとこと要約

本稿では、LiDARに基づく3次元物体検出におけるソースフリー非教師ありドメイン適応（SF-UDA3D）フレームワークを提案する。この手法は、元のPointRCNN検出器を、ソースデータやターゲットアノテーションにアクセスできない新しいターゲットドメインに適応させるために、逆転可能なスケール変換と運動一貫性を用いた疑似アノテーションを活用する。提案手法は最先端の性能を達成し、nuScenesからKITTIへのドメイン適応でドメインギャップを66%削減し、KITTIからnuScenesへの適応でも30%削減した。

ABSTRACT

3D object detectors based only on LiDAR point clouds hold the state-of-the-art on modern street-view benchmarks. However, LiDAR-based detectors poorly generalize across domains due to domain shift. In the case of LiDAR, in fact, domain shift is not only due to changes in the environment and in the object appearances, as for visual data from RGB cameras, but is also related to the geometry of the point clouds (e.g., point density variations). This paper proposes SF-UDA$^{3D}$, the first Source-Free Unsupervised Domain Adaptation (SF-UDA) framework to domain-adapt the state-of-the-art PointRCNN 3D detector to target domains for which we have no annotations (unsupervised), neither we hold images nor annotations of the source domain (source-free). SF-UDA$^{3D}$ is novel on both aspects. Our approach is based on pseudo-annotations, reversible scale-transformations and motion coherency. SF-UDA$^{3D}$ outperforms both previous domain adaptation techniques based on features alignment and state-of-the-art 3D object detection methods which additionally use few-shot target annotations or target annotation statistics. This is demonstrated by extensive experiments on two large-scale datasets, i.e., KITTI and nuScenes.

研究の動機と目的

• 点群幾何、物体外観、環境条件の変化に起因するLiDARベースの3次元物体検出におけるドメインシフトの課題に対処すること。
• 実世界の展開状況ではソースデータやアノテーションがしばしば入手できないという実用的制約に取り組むこと。
• ターゲットアノテーションやソースデータへのアクセスを一切不要とし、事前に訓練されたソースモデルとラベルなしのターゲットデータのみを用いてドメイン適応手法を開発すること。
• 都市間、天候条件、LiDARセンサータイプの違いといった異なるドメイン間での3次元検出器の一般化性能を向上させること。

提案手法

• 入力データに複数のスケール変換を適用することで、ラベルなしのターゲット点群に対して疑似アノテーションを生成し、事前学習済みのPointRCNNモデルが異なる解像度で物体を検出できるようにする。
• 空間的関係を保持できる逆転可能なスケール変換を用い、検出後の一貫性のあるラベル集約を可能にする。
• 検出トラックを、非教師ありの運動一貫性指標（平均体積変動、MVV）を用いてスコア付けし、複数フレームにわたる予測された物体軌道の安定性と信頼性を評価する。
• MVVに最小長さペナルティを適用したMVV*を用いて、短時間または不安定なトラックをフィルタリングし、noisyなデータセット（例：nuScenes）におけるロバスト性を向上させる。
• 信頼度スコアに基づき、複数スケールにおける最高性能の検出ラベルを集約し、それらを用いてターゲットドメインでPointRCNNモデルをファインチューニングする。
• 検出トラックの時間的整合性を活用することで、真のアノテーションが存在しない状況でも高品質な疑似ラベルを特定できる。

実験結果

リサーチクエスチョン

• RQ1 ソースデータやアノテーションが入手不可である状況下で、ソースフリー非教師ありドメイン適応フレームワークが、新たなターゲットドメインに3次元物体検出器を効果的に適応できるか。
• RQ2 逆転可能なスケール変換は、点群密度や幾何的特性が異なるターゲットドメインにおける検出性能向上にどの程度有効か。
• RQ3 MVV や MVV* といった非教師ありの運動一貫性指標が、真のアノテーションなしで高品質な疑似アノテーションを信頼性高く同定できるか。
• RQ4 1スケール検出に比べ、マルチスケール疑似アノテーションはLiDARベース3次元検出におけるドメイン適応でどの程度優れているか。
• RQ5 少量のターゲットアノテーションやターゲット統計情報が必要な最先端手法と比較して、本手法はどの程度優れているか。

主な発見

• nuScenesからKITTIへの適応において、SF-UDA3Dはドメインギャップを66%削減し、既存手法を著しく上回った。
• より困難なKITTIからnuScenesへの適応においても、SF-UDA3Dは性能ギャップの30%を埋め、ドメインシフトに対して高いロバスト性を示した。
• ターゲットアノテーションを一切使用しない状況でも、従来のソースフリー特徴ベースドメイン適応手法を30%上回った。
• 最小長さペナルティを適用したMVV*指標は、noisyなnuScenesデータセットにおいて、TEXや標準MVVを上回る性能を発揮し、顕著に性能向上をもたらした。
• 3つの最高スコアのスケール要因を用いたターゲット点群のリスケーリングにより、ソースモデルの性能が0.202から0.394 Avg-APに向上し、マルチスケール疑似アノテーションの有効性が裏付けられた。
• 複数スケールからの集約された疑似ラベルを用いたファインチューニングが最も高い性能を達成した。これはマルチスケール戦略の有効性を確認するものである。