[論文レビュー] 4D Unsupervised Object Discovery

Yuqi Wang, Yuntao Chen+1 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、手動アノテーションを一切用いずに、時間的データを活用してRGB画像内の2DオブジェクトとLiDAR点群内の3Dインスタンスを同時に検出する、4次元の教師なしオブジェクト発見という新規なタスクを紹介する。本手法は、3D ClusterNetと2Dロケーションネットワークの間で反復的最適化を実施し、空間的・時間的整合性と運動の手がかりを活用する。Waymo Open Dataset上で、完全教師あり手法と同等の性能を達成した。

ABSTRACT

Object discovery is a core task in computer vision. While fast progresses have been made in supervised object detection, its unsupervised counterpart remains largely unexplored. With the growth of data volume, the expensive cost of annotations is the major limitation hindering further study. Therefore, discovering objects without annotations has great significance. However, this task seems impractical on still-image or point cloud alone due to the lack of discriminative information. Previous studies underlook the crucial temporal information and constraints naturally behind multi-modal inputs. In this paper, we propose 4D unsupervised object discovery, jointly discovering objects from 4D data -- 3D point clouds and 2D RGB images with temporal information. We present the first practical approach for this task by proposing a ClusterNet on 3D point clouds, which is jointly iteratively optimized with a 2D localization network. Extensive experiments on the large-scale Waymo Open Dataset suggest that the localization network and ClusterNet achieve competitive performance on both class-agnostic 2D object detection and 3D instance segmentation, bridging the gap between unsupervised methods and full supervised ones. Codes and models will be made available at https://github.com/Robertwyq/LSMOL.

研究の動機と目的

• 3Dおよび2Dオブジェクト検出における手動アノテーションの高コストを低減するため、複雑なシーンにおいて教師なし発見を可能にする。
• マルチモodalな4次元データ（RGB画像と3D点群）における時間的情報の未開拓な可能性を活用し、教師なしオブジェクト発見を検討する。
• 2D画像と3D点群からの補完的特徴を活用することで、教師なしと完全教師ありオブジェクト検出の性能ギャップを埋める。
• 人為的アノテーションされたバウンディングボックスを一切使用せずに、2Dロケーションと3Dインスタンスセグメンテーションを同時に最適化する実用的でエンドツーエンドのフレームワークを開発する。

提案手法

• 連続する点群からの動きの手がかりを用いて、最初にシーンフローを推定することで、LiDAR点群上で3Dインスタンスセグメンテーションを実行するClusterNetを提案する。
• RGB画像におけるクラスに依存しないオブジェクト検出を実行する2Dロケーションネットワークを導入し、投影された3Dインスタンスセグメントから生成された仮ラベルを用いて学習する。
• 共同反復的最適化を採用：各イテレーションで、3D投影に基づいて2Dロケーションネットワークを改善し、2D検出結果に基づいて3D ClusterNetを向上させる。
• 連続フレーム間の空間的・時間的整合性を制約として用いることで、両モodalの仮ラベルの信頼性を向上させ、ノイズを低減する。
• 初期学習段階での静的物体による誤検出を低減するため、早期停止と適応的アンカーサンプリング戦略を適用する。
• スプライスな3Dインスタンスをフィルタリングするため、最小点数閾値（デフォルト5）を採用し、セグメンテーション品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 RGB画像と3D点群に時間的シーケンスを加えた4次元データは、人為的アノテーションなしでオブジェクト発見を可能にするか？
• RQ2 2D画像（テクスチャ、色）と3D点群（空間的正確性）からの補完的情報を、教師なし学習で効果的に活用できるか？
• RQ3 フレーム間の時間的整合性は、教師なし2Dおよび3D検出における仮ラベルの信頼性をどの程度向上させられるか？
• RQ4 2Dおよび3Dネットワーク間の共同反復的最適化は、単一モダリティの教師なし手法と比較して、性能を顕著に向上させられるか？
• RQ5 限定的なアノテーションしか利用できない状況において、本手法は教師ありベースラインと比較してどの程度の性能を示すか？

主な発見

• 提案された4次元教師なしオブジェクト発見フレームワークは、Waymo Open Dataset上で2Dオブジェクト検出でAP 43.2%、3DインスタンスセグメンテーションでAP 26.2%を達成し、最先端の教師なし手法を上回った。
• 共同反復的最適化により、性能が急速に向上：AP 2Dは30.0%から43.2%に、AP 3Dは20.2%から26.2%に上昇した（3イテレーションで）。
• 学習時に人為的ラベルを一切使用しなかったにもかかわらず、完全教師ありモデルと同等の性能を達成した。
• 早期停止により、ノイズの多い仮ラベルへの過学習を防ぎ、最適なイテレーションを超えて学習を継続すると性能が低下した。
• 3Dインスタンスの最小点数閾値を5に設定した場合、3D APが最良の26.2%を達成した。これは、低密度セグメントをフィルタリングすることでセグメンテーション品質が向上することを示している。
• 移動可能なオブジェクト（車両、歩行者など）に対しては有効であるが、椅子やベッドなどの静的オブジェクトは、運動の手がかりが欠けるため検出に失敗する。