[論文レビュー] Generating Photo-realistic Images from LiDAR Point Clouds with Generative Adversarial Networks

Nuriel Shalom Mor|arXiv (Cornell University)|Dec 20, 2021

Image Processing and 3D Reconstruction被引用数 7

ひとこと要約

本稿では、反射率および距離データを含むLiDAR点群から写真のようにリアルな画像を生成するための条件付きGANベースの手法を提案する。独自に構築したデータセットで学習されたモデルは、直接的に検出が難しい黒い車を含む、リアルな画像を効果的に予測することができ、点群に含まれる文脈的情報がカメラ入力を不要にしても効果的な画像生成を可能にすることを示している。これにより、下流の視覚認識タスクが可能となる。

ABSTRACT

We examined the feasibility of generative adversarial networks (GANs) to generate photo-realistic images from LiDAR point clouds. For this purpose, we created a dataset of point cloud image pairs and trained the GAN to predict photorealistic images from LiDAR point clouds containing reflectance and distance information. Our models learned how to predict realistically looking images from just point cloud data, even images with black cars. Black cars are difficult to detect directly from point clouds because of their low level of reflectivity. This approach might be used in the future to perform visual object recognition on photorealistic images generated from LiDAR point clouds. In addition to the conventional LiDAR system, a second system that generates photorealistic images from LiDAR point clouds would run simultaneously for visual object recognition in real-time. In this way, we might preserve the supremacy of LiDAR and benefit from using photo-realistic images for visual object recognition without the usage of any camera. In addition, this approach could be used to colorize point clouds without the usage of any camera images.

研究の動機と目的

• 条件付きGANが、反射率および距離情報のみを含むLiDAR点群から写真のようにリアルな画像を生成できるかどうかを調査すること。
• 直接的に点群から検出が難しい低反射性の物体（例：黒い車）を検出する課題に対処すること。
• 生成された画像上で視覚的物体認識およびセマンティックセグメンテーションを実行できることを保証し、LiDARの正確性を維持しながらカメラに類似した視覚的特徴を活用すること。
• いかなるカメラ画像を必要とせずに点群に色を付けることの可能性を調査すること。
• GANベースの画像生成システムと併用して動作するLiDARシステムを備えたデュアルセンサーシステムを構築し、リアルタイムの視覚認識を可能とすること。

提案手法

• 高角分解能およびマルチリターン機能を備えたInnovizOne LiDARセンサを用いて、ペアドされたLiDAR点群と実際の画像を収集した独自のデータセットを構築した。
• 点群を2チャンネルの画像に変換した：1つは反射率、もう1つは距離。これにより、pix2pixの条件付きGANアーキテクチャへの入力が可能になった。
• 生成画像の高精細度を確保するため、敵対的損失とL1損失を組み合わせて、点群表現から写真のようにリアルな画像への翻訳を最適化した。
• 40エポックにわたり、バッチサイズ1で学習を実施。生成器と識別器の2プレーヤーのミニマックスゲームを採用した。
• 生成器は、実際の画像に類似した画像を生成するように最適化された一方、識別器は実画像と生成画像を区別するように学習した。
• 物体の存在に関する類似度を評価するための独自の評価指標を導入した。具体的には、生成画像に検出可能な車両数と、正解画像における車両数の比率を測定した。

実験結果

リサーチクエスチョン

• RQ1 反射率および距離情報のみを含むLiDAR点群から、条件付きGANが写真のようにリアルな画像を生成できるか？
• RQ2 生成された画像が、黒い車のような低反射性物体の存在や外観といった重要な視覚的詳細を保持できるか？
• RQ3 点群に含まれる文脈的情報は、直接的な反射率データが欠落している状況において、黒い車両の検出をどの程度補完できるか？
• RQ4 生成された画像が、物体検出やセマンティックセグメンテーションのような下流の視覚認識タスクを支援できるか？
• RQ5 本手法によるGANベースの画像生成は、従来のLiDARと併用可能な補完的システムとして実現可能か？特に、実際のカメラが存在しない状況でもカメラに類似した視覚処理が可能になるか？

主な発見

• モデルは、直接的に検出が難しい黒い車を含む、複雑なシーンを含むLiDAR点群から写真のようにリアルな画像を効果的に生成した。
• 生成器は、正解画像における車両の色や形状と完全に一致しないが、主に文脈的情報を用いて黒い車を予測する能力を学習した。
• 独自の評価指標では、両実験で0.7から0.8のスコアが得られ、正解画像に存在する車両の70–80%が生成画像で検出可能であった。
• 40エポックを過ぎて過学習が発生したため、一般化性能を向上させるために、モデル容量とデータの多様性の最適化が今後必要となる。
• 結果から、カメラ入力を一切不要にしても、LiDAR点群のみで視覚認識タスクに適した画像を生成可能であることが示された。
• 本手法により、カメラフリーの点群色付けが可能となり、標準的なLiDARシステムにGANベースの画像生成器を補完的に統合したデュアルセンサーアーキテクチャを実現できる。