[論文レビュー] End-to-end Lane Shape Prediction with Transformers

Ruijin Liu, Zejian Yuan+2 more|arXiv (Cornell University)|Nov 9, 2020

Autonomous Vehicle Technology and Safety参考文献 21被引用数 9

ひとこと要約

本稿では、カメラの姿勢と道路幾何学に基づく物理的解釈可能なラン形状モデルのパラメータを直接回帰することで、グローバルなコンテキストと空間的依存関係を捉えることにより、長く細いレーンマークの正確な検出を可能にする、トランスフォーマーに基づくネットワークを用いたエンドツーエンドのラン形状予測手法を提案する。このアプローチは、TuSimpleベンチマークにおいて最小のモデルサイズと最速の推論速度を達成しながら、最先端の性能を示しており、FVLと呼ばれる挑戦的な自作データセットに対しても強力なゼロショット一般化性能を示している。

ABSTRACT

Lane detection, the process of identifying lane markings as approximated curves, is widely used for lane departure warning and adaptive cruise control in autonomous vehicles. The popular pipeline that solves it in two steps -- feature extraction plus post-processing, while useful, is too inefficient and flawed in learning the global context and lanes' long and thin structures. To tackle these issues, we propose an end-to-end method that directly outputs parameters of a lane shape model, using a network built with a transformer to learn richer structures and context. The lane shape model is formulated based on road structures and camera pose, providing physical interpretation for parameters of network output. The transformer models non-local interactions with a self-attention mechanism to capture slender structures and global context. The proposed method is validated on the TuSimple benchmark and shows state-of-the-art accuracy with the most lightweight model size and fastest speed. Additionally, our method shows excellent adaptability to a challenging self-collected lane detection dataset, showing its powerful deployment potential in real applications. Codes are available at https://github.com/liuruijin17/LSTR.

研究の動機と目的

• 二段階のラン検出パイプラインの限界を解決する。具体的には、非効率さとグローバルコンテキストおよび細長いラン構造を捉えることができない点。
• CNNベースの手法の短所を克服する。具体的には、長距離依存関係をモデル化できず、レーンマークの隠蔽状態に対処できない点。
• モバイルおよびリアルタイムの自律走行アプリケーションに適した、軽量で効率的かつ実装可能なラン検出システムを開発する。
• 未観測の環境、例えば夜間のシーンや多様な交通状況への一般化性能と移行性を向上させる。
• 物理的道路幾何学とカメラポーズに基づくランパラメータの定式化により、出力の解釈可能性を実現する。

提案手法

• カメラポーズと道路幾何学から導出される物理的基盤のラン形状モデルのパラメータの直接回帰としてラン検出を定式化する。
• 自己注意機構を用いて画像全体にわたる非局所的で長距離の特徴相互作用をモデル化する、トランスフォーマーに基づくエンコーダ・デコーダネットワークを設計する。
• 予測値と正解ランを一対一にマッチングするためのハンガリアン損失とバイパーティットマッチングを採用し、NMS（非最大抑制）の必要性を排除する。
• エンドツーエンド学習のためのアンカーとして機能する、学習可能な予測カーブヘッド（アンバレーションで7つ）のセットを用いることで、正例と負例の比率をバランスさせる。
• マルチヘッド自己注意を用いて空間的およびコンテキスト特徴を統合し、細く長いラン構造の検出を強化する。
• ランパラメータ回帰とインスタンスマッチングの両方を最適化する微分可能損失関数を用いて、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくエンドツーエンドネットワークは、従来の二段階およびアンカーベースの手法よりもラン検出精度を上回りつつ、モデルサイズを小さくし、推論時間を短縮できるか？
• RQ2 物理的解釈可能なラン形状モデルは、ラン検出出力の一般化性能と解釈可能性をどの程度向上できるか？
• RQ3 提案手法は、微調整なしに、夜間のシーンや多様な都市部の状況といった未観測環境にどの程度一般化できるか？
• RQ4 検出性能と学習効率のバランスを考慮した場合、最適な予測カーブヘッドの数は何か？
• RQ5 自己注意機構は、細く、遮蔽されたり、曲がったレーンマークを検出するために必要なグローバルコンテキストと長距離依存関係を効果的に捉えているか？

主な発見

• 提案手法は、TuSimpleベンチマークにおいて、96.8%のF1スコア、最小の誤検出率、および比較対象のすべての手法の中で最速の推論速度を達成し、最先端の精度を実現した。
• モデルは、SOTA手法の中でも最も少ないパラメータ数（150万未満）を実現しており、モバイルデプロイメントに極めて適している。
• 自作のフォワードビュー・レーン（FVL）データセットにおいて、微調整なしに、夜間のシーン、都市部の交通状況、変動する天候といった挑戦的な条件に対しても、効果的な一般化性能を示した。
• アンバレーションスタディの結果、7つの予測カーブヘッドが最良のパフォーマンスを示した。これは、ヘッド数が少ない場合および多すぎる場合の両方で、一般化性能とフィッティング精度が低下するためである。
• 視覚的注意マップは、デコーダが局所的なラン構造に注目していることを確認しており、後処理を伴わずに直接インスタンス分離が可能であることを示している。
• 一対一マッチングを実現するハンガリアン損失により、安定した学習が可能となり、非最大抑制の必要性が排除され、推論パイプラインが簡素化された。