[論文レビュー] Quantifying point cloud realism through adversarially learned latent representations

Larissa T. Triess, David Peter+2 more|arXiv (Cornell University)|Sep 24, 2021

3D Shape Modeling and Analysis参考文献 21被引用数 2

ひとこと要約

本論文は、敵対的学習された潜在表現を用いて、アノテーションを必要としない新しいメトリクスを提案し、LiDAR点群における局所的リアリズムを定量化する。階層的特徴学習と敵対的正則化を用いたプロキシ分類タスクで訓練することで、局所領域にリアリスティック、合成、またはその他のスコアを割り当て、リアリズムのレベルを滑らかに補間可能にし、アノメイリー検出を実現する。これは、教師データやタスク固有のラベルが不要である。

ABSTRACT

Judging the quality of samples synthesized by generative models can be tedious and time consuming, especially for complex data structures, such as point clouds. This paper presents a novel approach to quantify the realism of local regions in LiDAR point clouds. Relevant features are learned from real-world and synthetic point clouds by training on a proxy classification task. Inspired by fair networks, we use an adversarial technique to discourage the encoding of dataset-specific information. The resulting metric can assign a quality score to samples without requiring any task specific annotations. In a series of experiments, we confirm the soundness of our metric by applying it in controllable task setups and on unseen data. Additional experiments show reliable interpolation capabilities of the metric between data with varying degree of realism. As one important application, we demonstrate how the local realism score can be used for anomaly detection in point clouds.

研究の動機と目的

• 自動運転に使用される合成データを含め、LiDAR点群のリアリズムに対する定量的でスケーラブルな評価手法の不足に対処すること。
• 教師データのアノテーションや下流タスクのパフォーマンスを必要としないメトリクスの開発。
• 局所的で空間的に制限された特徴学習により、点群内での異常やセンサーアーティファクトの局所化を可能にすること。
• データセット固有の特徴符号化を避けることで、未知のデータ分布に対しても頑健であるようにすること。
• 人間の判断と相関する連続的なリアリズム測定値を提供し、合成データと現実データの間の補間を可能にすること。

提案手法

• 本手法は、実データ、合成データ（CARLA）、GAN生成点群から関連する特徴を学習するためにプロキシ分類タスクを用いる。
• 階層的特徴セット学習により、表現を局所的な空間的領域に制限し、局所的リアリズム評価を可能にする。
• 敵対的トレーニングのコンponentにより、ネットワークがデータセット固有の特徴を符号化するのを妨げ、一般化を促進する。
• 各クエリポイントに対して、3つのクラス確率（現実的、合成、その他）を出力し、局所的リアリズムスコアを形成する。
• 共有エンコーダブランチとディスクライマーを備えたシアンズ型ネットワークアーキテクチャを採用し、分離済みでリアリズムに焦点を当てた特徴を強制する。
• メトリクスは点群パッチ上でエンドツーエンドにトレーニングされ、スライディングウィンドウ推論を用いて全シーン評価に適用される。

実験結果

リサーチクエスチョン

• RQ1 アノテーションや教師データを必要とせず、自己教師的メトリクスがLiDAR点群の局所的リアリズムを信頼性高く定量化できるか？
• RQ2 ノイズレベルが異なるデータ（現実的、合成、ノイズあり）の間で、メトリクスがどれほど滑らかに補間できるか？
• RQ3 本手法は、既知および未知のデータセットにおいても異常やセンサーアーティファクトを検出できるか？
• RQ4 敵対的正則化は、データセット固有のバイアスを効果的に抑制するとともに、リアリズム関連の特徴を保持できるか？
• RQ5 再構成ベースのメトリクス（EMD や CD）と比較して、本メトリクスは知覚的リアリズムをどれほどよく捉えられるか？

主な発見

• ノイズレベルが上昇するにつれて、CARLA点群においてスコアが滑らかに変化するため、リアリズムレベル間の補間が信頼性を持って達成されている。
• 低ノイズレベル（数cm）では、合成CARLAデータが現実データよりもよりリアリスティックと評価され、ノイズがリアリズムに必要であることを示唆している。
• 高ノイズレベル（σ > 10 cm）では、Realスコアが著しく低下し、Miscスコアが上昇する。これは構造の喪失と、現実的または合成的と分類できない状態を示している。
• PandaSetなどの未知のデータセットにおいても、本手法は人工的なガウスノイズや極端な標高変化を含む領域を効果的に異常として局所化している。
• 人間のリアリズム判断と相関する点で、再構成ベースのメトリクス（EMD や CD）よりも本メトリクスが優れている。
• 敵対的トレーニングにより、データセット固有の特徴が効果的に抑制され、未知のデータ分布への頑健な一般化が達成されている。