[論文レビュー] LATR: 3D Lane Detection from Monocular Images with Transformer

Yueru Luo, Chaoda Zheng+5 more|arXiv (Cornell University)|Aug 8, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

LATRは、鳥瞰図（BEV）のような補助的3D表現に依存せずに、単眼前面画像から直接3Dランを予測する、トランスフォーマー基盤のエンドツーエンド3Dラン検出フレームワークを提案する。ランランに適したクエリと動的3D地面位置埋め込みを用いることで、特徴の整合性と性能を向上させ、OpenLaneで11.4のF1スコア向上を達成し、最先端の結果を実現した。

ABSTRACT

3D lane detection from monocular images is a fundamental yet challenging task in autonomous driving. Recent advances primarily rely on structural 3D surrogates (e.g., bird's eye view) built from front-view image features and camera parameters. However, the depth ambiguity in monocular images inevitably causes misalignment between the constructed surrogate feature map and the original image, posing a great challenge for accurate lane detection. To address the above issue, we present a novel LATR model, an end-to-end 3D lane detector that uses 3D-aware front-view features without transformed view representation. Specifically, LATR detects 3D lanes via cross-attention based on query and key-value pairs, constructed using our lane-aware query generator and dynamic 3D ground positional embedding. On the one hand, each query is generated based on 2D lane-aware features and adopts a hybrid embedding to enhance lane information. On the other hand, 3D space information is injected as positional embedding from an iteratively-updated 3D ground plane. LATR outperforms previous state-of-the-art methods on both synthetic Apollo, realistic OpenLane and ONCE-3DLanes by large margins (e.g., 11.4 gain in terms of F1 score on OpenLane). Code will be released at https://github.com/JMoonr/LATR .

研究の動機と目的

• 補助視点手法における逆透視変換（IPM）に起因する3Dラン検出の整合性の欠如問題を解消すること。
• 中間の3D補助表現（例：BEV）を排除することで、特徴の整合性と効率性を向上させること。
• 反復的に更新される3D地面平面を用いて、2D前面特徴に3D空間的事前知識を効果的に統合することで、3Dラン検出の精度を向上させること。
• ランレベルおよびポイントレベルの空間特徴を捉えるクエリベースの検出メカニズムを構築し、一般化性能を向上させること。
• 深度推定や深度の教師信号に依存せずに、複数のベンチマークデータセットで最先端の性能を達成すること。

提案手法

• ランレベルおよびポイントレベルの埋め込みを統合することで、空間的および意味的事前知識を強化したクエリ表現を生成するランランに適したクエリジェネレータを導入する。
• 仮想的な3D地面平面を反復的に修正することで、現実の道路幾何構造に適合させる動的3D地面位置埋め込み機構を採用する。
• 学習済みクエリと3Dに適応した特徴の間でクロスアテンションを実行し、前面視点空間において直接的に3Dラン座標を予測する。
• 反復的に更新される3D地面平面に2D画像ピクセルを投影することで3D位置埋め込みを構築し、2D-3D特徴の整合性を実現する。
• マルチヘッドクロスアテンションを備えたトランスフォーマー・デコーダーを用いて文脈を統合し、セット予測ヘッドを通じて3Dラン予測を生成する。
• 2D特徴マップと3D位置情報のハイブリッド埋め込み戦略を活用し、クエリ表現の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 BEVのような補助的3D空間に特徴を変換せずに、前面画像上で3Dラン検出を効果的に行うことは可能か？
• RQ2 2D前面特徴に3D空間的事前知識を効果的に統合することで、3Dランの局所化精度を向上させることは可能か？
• RQ3 ランレベルおよびポイントレベルの埋め込みを併用したランランに適したクエリが、検出性能に与える影響は何か？
• RQ4 固定平面やフレスムベースの代替手法と比較して、動的3D地面位置埋め込みは特徴の整合性と精度においてどのように優れているか？
• RQ5 エンドツーエンドで、アンカーフリーかつNMSフリーなトランスフォーマー・アーキテクチャは、実世界の3Dラン検出ベンチマークで既存手法を上回ることができるか？

主な発見

• OpenLaneデータセットにおいて、LATRは前回の最先端手法に対して11.4のF1スコアの絶対的向上を達成し、70.4 F1に到達した。
• ApolloScapeデータセットでは、前回の手法と比較してF1が4.3ポイント向上し、61.5 F1を達成した。
• ONCE-3DLanesデータセットでは、F1スコアが6.26ポイント向上し、多様な実世界シナリオにおける強力な一般化能力を示した。
• アブレーションスタディの結果、クエリにランレベルおよびポイントレベルの埋め込みを併用した場合が、単にランレベルクエリのみを使用した場合（66.5 F1）と比較して優れた性能（70.4 F1）を示した。
• 動的3D地面位置埋め込みは、固定平面やフレスムベースの代替手法を上回り、70.4 F1スコアと低いXおよびZ誤差を達成した。
• 複雑な道路幾何構造に対しても頑健であり、上り坂／下り坂などの困難な条件下でも高い精度を維持した。