[論文レビュー] High Resolution Millimeter Wave Imaging For Self-Driving Cars

Junfeng Guan, Sohrab Madani+2 more|arXiv (Cornell University)|Dec 19, 2019

Terahertz technology and applications参考文献 51被引用数 10

ひとこと要約

HawkEyeは、生成的対抗ネットワーク（GANs）を活用して、低解像度でアーティファクトを含むmmWaveレーダーのヒートマップを、自動運転車のための高解像度で知覚的に正確な車両の画像に変換する深層学習ベースのシステムを提案する。スペキュラリティ、マルチパスアーティファクト、低解像度の問題に対処することで、HawkEyeは局所化精度を最大5.22倍向上させ、最先端のmmWaveレーダーと比較して誤検出数を4倍削減する。

ABSTRACT

Recent years have witnessed much interest in expanding the use of networking signals beyond communication to sensing, localization, robotics, and autonomous systems. This paper explores how we can leverage recent advances in 5G millimeter wave (mmWave) technology for imaging in self-driving cars. Specifically, the use of mmWave in 5G has led to the creation of compact phased arrays with hundreds of antenna elements that can be electronically steered. Such phased arrays can expand the use of mmWave beyond vehicular communications and simple ranging sensors to a full-fledged imaging system that enables self-driving cars to see through fog, smog, snow, etc. Unfortunately, using mmWave signals for imaging in self-driving cars is challenging due to the very low resolution, the presence of fake artifacts resulting from multipath reflections and the absence of portions of the car due to specularity. This paper presents HawkEye, a system that can enable high resolution mmWave imaging in self driving cars. HawkEye addresses the above challenges by leveraging recent advances in deep learning known as Generative Adversarial Networks (GANs). HawkEye introduces a GAN architecture that is customized to mmWave imaging and builds a system that can significantly enhance the quality of mmWave images for self-driving cars.

研究の動機と目的

• 自動運転車におけるmmWaveレーダーの根本的な制限である低空間解像度と低視認性を是正すること。特に悪天候や視界不良条件下での問題を対処する。
• スペキュラリティ反射（車両の一部がレーダー画像で見えなくなる現象）やマルチパスアーティファクト（ゴースト反射）に起因する課題を克服すること。
• ステレオカメラの深度マップを教師データとして用い、深層学習（特にGAN）を活用して、mmWave信号から高解像度で知覚的に解釈可能な車両画像を生成すること。
• mmWaveレーダーデータにおける車両の局所化、姿勢推定、形状再構築の精度を、ステレオカメラシステムと同等またはそれを上回る水準まで向上させること。

提案手法

• 低解像度のmmWaveレーダーヒートマップを高解像度で現実的である車両の画像に変換する能力を学習するカスタムGANアーキテクチャを訓練する。
• 生成された画像が幾何学的・知覚的に正確であるように保証するため、ステレオカメラの深度マップを教師データとしてGANの訓練に使用する。
• 実際のカメラ深度マップと生成されたmmWave画像を区別できるようにする識別器ネットワークを統合し、写真的で構造的に正確な出力を促進する。
• 周波数変調連続波（FMCW）波形を三角形に適用してドップラー周波数シフトの推定と補正を可能にし、動的環境下でも精度を維持する。
• 合成データの拡張とドメイン適応技術を用いて、車両形状や環境条件の実世界の変動に対する耐性を高める。
• まずスペキュラリティによる欠損部を埋める段階と、その後にマルチパスや環境反射に起因する誤検出を抑制する段階を含む、段階的な精錬プロセスを実装する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのアプローチは、自動運転車向けmmWaveレーダー画像の解像度と知覚的品質を顕著に向上させることができるか？
• RQ2 深層学習は、mmWaveレーダー画像に欠損領域を引き起こすスペキュラリティ反射の影響をどの程度軽減できるか？
• RQ3 学習されたモデルは、mmWaveレーダーデータにおけるマルチパスアーティファクトや誤反射を効果的に抑制し、誤検出を低減できるか？
• RQ4 提案手法の性能は、局所化、姿勢推定、形状再構築の精度において、最先端のmmWaveレーダーおよびステレオカメラシステムと比較してどの程度優れているか？

主な発見

• HawkEyeは全3軸（x, y, z）で局所化誤差を2.26倍低減し、それぞれ0.84m、0.93m、0.09mの中央誤差を達成した。これはmmWaveレーダーの1.90m、2.10m、0.47mと比較して顕著な改善である。
• 車両表面の欠損割合は、レーダーの30％からHawkEyeでは13％に低下し、形状の完全性が著しく向上した。
• 虚偽の反射源の中央誤差は、レーダーの20％からHawkEyeでは3.7％に低下し、90百分位数も38％から9.6％に低下した。これは誤検出抑制において4倍の改善を示している。
• 姿勢推定誤差は62°（レーダー）から30°（HawkEye）に低下し、物体検出における幾何学的整合性が向上したことが示された。
• HawkEyeの出力画像は、ステレオカメラの深度マップと知覚的に同等であり、視界不良条件下でも信頼性の高い物体認識とシーン理解が可能である。
• 移動する車両に起因するドップラーシフトに対しても、標準的なFMCW信号処理技術を用いることで、システムの耐性が維持されている。