[論文レビュー] LineNet: a Zoomable CNN for Crowdsourced High Definition Maps Modeling in Urban Environments

Dun Liang, Yuan-Chen Guo+5 more|arXiv (Cornell University)|Jul 16, 2018

Video Surveillance and Tracking Methods参考文献 13被引用数 14

ひとこと要約

LineNet は、ライン予測層とズームモジュールを備えた新しいズーム可能な畳み込みニューラルネットワーク（CNN）であり、寄付された都市部の画像において最先端のレーン検出を実現する。GPSデータの不正確さにもかかわらず、HDマップモデリングで31.3 cmの再構成誤差を達成した。本手法は、包括的なレーンおよび隠蔽領域のアノテーションを備えた新しいデータセットTTLaneと統合されており、低コストのモバイルデータから高精度なHDマップ生成を可能にする。

ABSTRACT

High Definition (HD) maps play an important role in modern traffic scenes. However, the development of HD maps coverage grows slowly because of the cost limitation. To efficiently model HD maps, we proposed a convolutional neural network with a novel prediction layer and a zoom module, called LineNet. It is designed for state-of-the-art lane detection in an unordered crowdsourced image dataset. And we introduced TTLane, a dataset for efficient lane detection in urban road modeling applications. Combining LineNet and TTLane, we proposed a pipeline to model HD maps with crowdsourced data for the first time. And the maps can be constructed precisely even with inaccurate crowdsourced data.

研究の動機と目的

• プロフェッショナルな機器を用いた伝統的な HD マップ作成の高コストとスケーラビリティの限界を解消すること。
• 信頼性の低い GPS データと変動するカメラパラメータを伴う低コストの寄付されたモバイルデータから、正確な HD マップモデリングを可能にすること。
• 多様な都市部の道路状況において、隠蔽済みや破線のレーンマークを含むすべてのレーンマークを検出・分類できる深層学習モデルの開発。
• レーンの種別6種類、レーン境界、隠蔽セグメントを含む包括的なアノテーションを備えた新しいベンチマークデータセットTTLaneの作成を通じて、高度なレーン検出研究を支援すること。
• 寄付された画像とGPSデータのみを用いた、完全なエンドツーエンドのパイプラインを確立し、高精度なHDマップの構築を実現すること。

提案手法

• LineNet は、レーンの位置、方向、距離、信頼性を直接回帰する新しいライン予測（LP）層を採用しており、セグメンテーションベースの手法に比べて局所化精度が向上する。
• ズームモジュールにより、アーキテクチャの変更なしに任意の視野角拡大が可能であり、低解像度のサムネイルからのグローバル特徴と高解像度のクロップ特徴を統合する。
• モデルは、6種類のレーンタイプ、レーン境界、隠蔽セグメントの詳細なアノテーションが付与された13,200枚の画像からなるTTLaneデータセットで学習される。
• レーン検出結果は、構造からモーション（SfM）を用いて後処理され、3次元道路ジオメトリを再構成し、空間的および方向的一致性に基づいてレーンを統合する。
• パイプラインは、3次元再構成にOpenSfMを統合し、GPSデータを用いて検出されたレーンを一貫性のあるHDマップに整列させる。
• アブレーションスタディにより、隠蔽セグメントのアノテーション、ズームモジュールにおける特徴統合、およびLP層の個々のブランチの重要性が検証された。

実験結果

リサーチクエスチョン

• RQ1 実世界の寄付されたデータ制約下で、専用のライン予測層を備えた深層CNNは、セグメンテーションベースの手法を上回るレーン検出精度を達成できるか？
• RQ2 トレーニングに隠蔽セグメントを組み込むことで、都市環境におけるレーン検出のロバスト性はどの程度向上するか？
• RQ3 モデルの複雑さを増さずに、ズームモジュールは、細い、遠くの、または断片的なレーンマークの検出をどの程度効果的に向上させるか？
• RQ4 完全なエンドツーエンドのパイプラインが、劣悪なGPSと変動する画像品質にもかかわらず、低コストの寄付されたモバイルデータのみを用いて、1m未満の精度でHDマップを生成できるか？
• RQ5 LP層の個々のコンponents（位置、方向、距離、信頼性ブランチ）が、最終的な検出性能に与える影響は何か？

主な発見

• LineNet は、TTLane データセットで F1 スコア 0.708 を達成し、ベースライン手法を著しく上回った。方向および距離ブランチを用いた学習では、訓練損失が10%削減された。
• 隠蔽セグメントのアノテーションを学習に組み込むことで、F1 スコアは 0.637 から 0.708 に向上し、遮蔽されたレーン部分を明示的にモデル化することが重要であることが示された。
• ズームモジュールの導入により、F1 スコアは 0.634 から 0.708 に上昇し、細いまたは断片的なレーンの検出精度が向上した。
• 信頼性ブランチは不可欠であった。このブランチを削除すると、F1 スコアは 0.615 に低下し、ズーム機能が無効になり、ネットワークが1段階目の推論に限定された。
• エンドツーエンドのパイプラインは、地面真値と比較して平均31.3 cmの再構成誤差でHDマップを再構成した。これは、モバイルデバイスの5メートルのGPS誤差に比べ顕著な改善であった。
• 直線、曲がり角、交差点の3つの道路状況において、平均再構成誤差はそれぞれ 0.15 m、0.11 m、0.23 m であり、回転誤差は9度未満であった。