[論文レビュー] Video super-resolution for single-photon LIDAR

Germán Mora Martín, Stirling Scholes+4 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Optical Sensing Technologies被引用数 4

ひとこと要約

本論文では、合成SPADベースの深度シーケンスを用いてトレーニングされた3次元畳み込みニューラルネットワーク（CNN）を提案し、単一光子LIDAR深度データの動画スーパーレゾリューションおよびノイズ低減を実現する。この手法は、×4に拡大する低分解能でノイズの多いフレームを処理する。実時間性能（GPU上での30 FPS以上）を達成し、最先端の手法よりも顕著にPSNRおよびSSIMが向上する。さらに、微調整なしに実験的データに対しても適用可能である。

ABSTRACT

3D Time-of-Flight (ToF) image sensors are used widely in applications such as self-driving cars, Augmented Reality (AR) and robotics. When implemented with Single-Photon Avalanche Diodes (SPADs), compact, array format sensors can be made that offer accurate depth maps over long distances, without the need for mechanical scanning. However, array sizes tend to be small, leading to low lateral resolution, which combined with low Signal-to-Noise Ratio (SNR) levels under high ambient illumination, may lead to difficulties in scene interpretation. In this paper, we use synthetic depth sequences to train a 3D Convolutional Neural Network (CNN) for denoising and upscaling (x4) depth data. Experimental results, based on synthetic as well as real ToF data, are used to demonstrate the effectiveness of the scheme. With GPU acceleration, frames are processed at >30 frames per second, making the approach suitable for low-latency imaging, as required for obstacle avoidance.

研究の動機と目的

• コンact SPADアレイセンサから得られる低横解像度および高ノイズレベルの単一光子LIDAR深度マップの問題に対処すること。
• 連続フレーム間の時間的相関を活用して、深度マップの品質を向上させる動画スーパーレゾリューションフレームワークを開発すること。
• 実世界のノイズおよび解像度制約を模倣する合成SPADデータを用いて、ディープラーニングモデルをトレーニングすること。
• 自律システムの障害物回避に適した、リアルタイムで低レイテンシの深度マップ強化を可能にすること。
• 合成および実験的SPAD dToFデータの両方に対して、モデルのロバスト性を評価すること。

提案手法

• リアルなシナリオを再現するため、Unreal Engine統合のAirSimシミュレータを用いて合成深度シーケンスを生成した。信号対雑音比（SNR）を変化させた環境を含む。
• 合成データを処理し、光子ノイズおよび低SNR状態を含むSPADベースの深度測定をエミュレートすることで、多様なトレーニングデータセットを作成した。
• 空間的・時間的特徴を学習するため、複数の低分解能入力フレームから高分解能深度マップを再構築する3次元CNNアーキテクチャをトレーニングした。
• ネットワークは、連続フレーム間の空間的および時間的相関を活用するため、3次元畳み込みを採用し、特徴表現を向上させた。
• トレーニングは合成データに限定して実施され、実データはトレーニング段階で一切使用されず、実世界条件への一般化を可能にした。
• 推論はGPUを用いて高速化され、30 FPSを超えるフレームレートを達成し、リアルタイム応用に適した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの動画スーパーレゾリューション手法は、単一光子LIDAR深度マップの解像度向上およびノイズ低減を効果的に実現できるか？
• RQ2 低SNR条件下で、提案手法はiSeeBetterのような最先端手法と比較してどのように性能を発揮するか？
• RQ3 合成データのみでトレーニングされたモデルが、実験的SPAD dToFセンサデータにどれほど一般化可能か？
• RQ4 時間的特徴統合のための効果的な時間的特徴融合を維持するには、どの程度のフレームレートが必要か？
• RQ5 単一フレームスーパーレゾリューションと比較して、複数入力フレームを用いることで、再構築品質が著しく向上するか？

主な発見

• 提案手法は、全テストSNRレベルにおいて、特にSNRが0.25という最低水準であっても、iSeeBetterベースラインを上回るPSNRおよびSSIM値を達成した。
• ノイズに対して高いロバスト性を示し、極めてノイズの強い低SNR条件下でも、微細なディテールおよび滑らかな表面を効果的に再構築できた。
• 合成データのみでトレーニングされたにもかかわらず、実SPAD dToFセンサデータに対して、視覚的に優れた、より時間的に一貫性のあるスーパーレゾリューション出力を生成した。
• 実時間性能を維持し、GPU上で30 FPSを超えるフレームレートで処理が可能であり、障害物回避などの低レイテンシ応用に適していた。
• 複数フレーム入力の使用により、特に低フレームレート下でも、特徴再構築およびノイズ低減の両面で、単一フレームスーパーレゾリューションを著しく上回った。
• アブレーションスタディにより、オブジェクトの変位がサブピクセルを超えていても、ネットワークの性能が安定していることが確認され、動的シーンへの強い一般化能力を示した。