[論文レビュー] PersFormer: 3D Lane Detection via Perspective Transformer and the OpenLane Benchmark

Li Chen, Chonghao Sima+9 more|arXiv (Cornell University)|Mar 21, 2022

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

PersFormerは、カメラパラメータを参照として前面視野の局所領域に注目する、新規のトランスフォーマー基盤の空間特徴変換モジュールを用いたエンドツーエンドのモノクローラ3次元ランナー検出モデルを提案する。これにより、正確なBEV特徴の生成が可能となり、新たにリリースされたOpenLaneベンチマークで最先端の性能を達成した。2D/3Dアンカーデザインとマルチタスク学習を統合することで、2D性能を維持したまま、3次元ランナー検出においても顕著に優れた性能を発揮した。

ABSTRACT

Methods for 3D lane detection have been recently proposed to address the issue of inaccurate lane layouts in many autonomous driving scenarios (uphill/downhill, bump, etc.). Previous work struggled in complex cases due to their simple designs of the spatial transformation between front view and bird's eye view (BEV) and the lack of a realistic dataset. Towards these issues, we present PersFormer: an end-to-end monocular 3D lane detector with a novel Transformer-based spatial feature transformation module. Our model generates BEV features by attending to related front-view local regions with camera parameters as a reference. PersFormer adopts a unified 2D/3D anchor design and an auxiliary task to detect 2D/3D lanes simultaneously, enhancing the feature consistency and sharing the benefits of multi-task learning. Moreover, we release one of the first large-scale real-world 3D lane datasets: OpenLane, with high-quality annotation and scenario diversity. OpenLane contains 200,000 frames, over 880,000 instance-level lanes, 14 lane categories, along with scene tags and the closed-in-path object annotations to encourage the development of lane detection and more industrial-related autonomous driving methods. We show that PersFormer significantly outperforms competitive baselines in the 3D lane detection task on our new OpenLane dataset as well as Apollo 3D Lane Synthetic dataset, and is also on par with state-of-the-art algorithms in the 2D task on OpenLane. The project page is available at https://github.com/OpenPerceptionX/PersFormer_3DLane and OpenLane dataset is provided at https://github.com/OpenPerceptionX/OpenLane.

研究の動機と目的

• 従来の3次元ランナー検出手法が単純な前面視野からBEVへの特徴変換に依存しており、現実的で大規模なトレーニングデータが不足しているという限界を是正すること。
• 視野間の文脈的相互作用を捉えることができる、学習可能なアテンションベースのプロセスとしての空間変換をモデル化することで、BEV特徴表現を向上させること。
• 共通アーキテクチャと補助タスクを用いて2Dと3次元ランナー検出を統合し、特徴の一貫性とマルチタスク学習の利点を高めること。
• 20万フレーム、88万件のランナーインスタンス、14のカテゴリ、シーンレベルのアノテーションを備えた大規模で現実世界の3次元ランナー・データセットOpenLaneをリリースし、産業用途の自動運転研究を支援すること。

提案手法

• カメラパラメータを参照として用い、前面視野から鳥瞰図視点（BEV）への空間的特徴変換を学習するための、可変自己注意およびクロス注意メカニズムを有するPerspective Transformer（PersFormer）モジュールを提案する。
• 2Dおよび3次元ランナーを1つのヘッド内で同時に検出できる統合された2D/3Dアンカーデザインを導入し、特徴の共有と一貫性を促進する。
• BEV特徴に対して明示的な監視を提供するための補助的バイナリセグメンテーションヘッドを採用し、特徴品質と検出のロバスト性を向上させる。
• 前面視野特徴マップの関連する局所領域に動的に注目するための学習可能なアテンションメカニズムを活用し、文脈に適した特徴を集約してBEV表現を生成する。
• 学習可能なクエリとキーを用いた微分可能な空間変換を適用し、BEV特徴生成中に顕著な特徴に適応的に注目できるようにする。
• 高品質なインスタンスレベルアノテーション、シーンタグ、閉じたパスオブジェクトアノテーションを備えた、大規模で現実世界の3次元ランナー・データセットOpenLaneをリリースする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なアテンションベースの空間変換モジュールは、従来の逆パースペクティブマッピング（IPM）を上回る性能を発揮するのか？
• RQ2 統合されたアンカーデザインを用いた2D/3次元ランナー検出は、別々の2Dおよび3次元ヘッドと比較して、特徴の一貫性と検出精度を向上させるのか？
• RQ3 補助的セグメンテーションヘッドによる明示的なBEV監視は、3次元ランナー検出性能をどの程度向上させるのか？
• RQ4 本手法は、上り坂／下り坂や複雑な道路構造を含む多様な現実世界の走行シナリオに、どの程度一般化可能なのか？
• RQ5 OpenLaneのような大規模で現実世界の3次元ランナー・データセットは、産業用途の3次元ランナー検出モデルの開発とベンチマークに効果的に寄与できるのか？

主な発見

• PersFormerは、アポロ3Dランナー合成データセットのバランスの取れたシーンで92.9%のFスコアを達成し、3D-LaneNet や Gen-LaneNet といった先行手法を上回った。
• アポロ3Dランナー合成データセットのレアシーンサブセットでは、87.5%のFスコアを記録し、前回最良手法（CLGo）の86.1%を1.4ポイント上回った。
• OpenLaneベンチマークにおいて、300セグメントサブセットで3D Fスコア47.79%を達成し、完全なアブレーション設定を用いた場合、ベースライン比で6.02%の向上を示した。
• アブレーションスタディの結果、統合アンカーデザイン、マルチタスク学習、Perspective Transformerの組み合わせにより、ベースラインの3次元検出性能に4.9%の向上が得られ、補助セグメンテーションヘッドの追加でさらに1.13%の向上が得られた。
• PersFormerは、ベースラインと比較してOpenLaneにおける2Dランナー検出Fスコアを9.7%向上させた。これは、向上したBEV特徴が2Dタスクに対しても恩恵をもたらすことを示している。
• 定性的な結果では、PersFormerはわずかなレーン端の検出を可能にし、上り坂／下り坂のシナリオでも平行なトポロジーを維持しているのに対し、競合手法は平面仮定の制限により失敗している。