[論文レビュー] CondLaneNet: a Top-to-down Lane Detection Framework Based on Conditional Convolution

Lizhe Liu, Xiaohao Chen+2 more|arXiv (Cornell University)|May 11, 2021

Autonomous Vehicle Technology and Safety参考文献 38被引用数 16

ひとこと要約

CondLaneNetは、条件付き畳み込みと行単位の定式化を用いるトップダウン型のレーン検出フレームワークであり、密接で分岐する線などの複雑なレーントポロジーを扱う際のインスタンスレベルの識別を向上させる。CULaneにおいて78.14のF1スコアと220FPSを達成し、最先端の性能を示しており、高い精度とリアルタイム効率性を兼ね備えている。

ABSTRACT

Modern deep-learning-based lane detection methods are successful in most scenarios but struggling for lane lines with complex topologies. In this work, we propose CondLaneNet, a novel top-to-down lane detection framework that detects the lane instances first and then dynamically predicts the line shape for each instance. Aiming to resolve lane instance-level discrimination problem, we introduce a conditional lane detection strategy based on conditional convolution and row-wise formulation. Further, we design the Recurrent Instance Module(RIM) to overcome the problem of detecting lane lines with complex topologies such as dense lines and fork lines. Benefit from the end-to-end pipeline which requires little post-process, our method has real-time efficiency. We extensively evaluate our method on three benchmarks of lane detection. Results show that our method achieves state-of-the-art performance on all three benchmark datasets. Moreover, our method has the coexistence of accuracy and efficiency, e.g. a 78.14 F1 score and 220 FPS on CULane. Our code is available at https://github.com/aliyun/conditional-lane-detection.

研究の動機と目的

• ディープラーニングベースのレーン検出におけるインスタンスレベルの識別に関する課題に対処すること。
• 固定されたインスタンス数のカウントや後処理によるクラスタリングの限界を克服し、密接で分岐する線などの複雑なレーントポロジーを効果的に扱うこと。
• 最小限の後処理で済むエンドツーエンドのリアルタイムレーン検出フレームワークの開発。
• 新規の再帰的インスタンスモジュール（RIM）を用いて、複雑な空間的配置を持つレーン線の検出精度を向上させること。

提案手法

• インスタンスレベルの識別を向上させるために、条件付き畳み込みに基づく条件付きレーン検出戦略を提案する。
• レーン線の形状を正確に、インスタンス固有に予測可能にするために、行単位の定式化を採用する。
• 分岐線や密集線などの複雑なトポロジーの検出を改善するため、順序依存性をモデル化する再帰的インスタンスモジュール（RIM）を導入する。
• 文脈特徴を精緻化し、より良いレーン線局在化のためのプロポーザルポイント検出を向上させるために、トランスフォーマー符号化器を統合する。
• 予測されたレーンポイントの精度を向上させるために、オフセットマップを後処理に用いる。
• 最小限の後処理で済むエンドツーエンドのパイプラインを設計し、リアルタイム推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのレーン検出におけるインスタンスレベルの識別はどのように向上できるか？
• RQ2 行単位の定式化と条件付き畳み込みは、レーン形状予測の精度にどのような影響を与えるか？
• RQ3 再帰的モジュールは、分岐線や密集線などの複雑なレーントポロジーを効果的にモデル化できるか？
• RQ4 トランスフォーマー符号化器は、プロポーザルポイント検出と全体のレーン精度をどのように向上させるか？
• RQ5 最小限の後処理で実現されるエンドツーエンド設計は、高精度を維持しつつ、どの程度リアルタイム推論を可能にするか？

主な発見

• CondLaneNetはCULaneデータセットで78.14のF1スコアと220FPSを達成し、高い精度とリアルタイム効率性を示している。
• CurveLanesでは86.10のF1スコアを達成し、前回の最先端手法よりも4.6%高い。
• アブレーションスタディの結果、トランスフォーマー符号化器は特に小規模モデルバージョンにおいて、プロポーザルポイントの検出を向上させ、プロポーザルポイントで2.84%のF1スコア向上をもたらした。
• RIMの追加により、CurveLanesにおけるベースラインからF1スコアが12.90ポイント向上し、複雑なトポロジーへの有効性が確認された。
• オフセットマップとトランスフォーマー符号化器の両方が性能向上に寄与しており、特に後者は正確なプロポーザル検出に不可欠であることが分かった。
• アブレーションバージョンで標準モデルのプロポーザルヒートマップを置き換えることで、元の性能に近い水準に回復した。これにより、符号化器がプロポーザル品質の精緻化に果たす役割が裏付けられた。