[論文レビュー] Towards Lightweight Lane Detection by Optimizing Spatial Embedding

Seokwoo Jung, Sungha Choi+2 more|arXiv (Cornell University)|Aug 19, 2020

Autonomous Vehicle Technology and Safety参考文献 11被引用数 13

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の平行移動不変性の制限を克服するために、画像座標を直接最適化することで空間埋め込みを直接最適化する、プロポーザルフリーのインスタンスセグメンテーションに基づく軽量でリアルタイムなレーン検出手法を提案する。ピクセル埋め込みをレーンインスタンスの中心にマップするように学習し、軽量バックボーンと高速な反復的後処理ステップを組み合わせることで、著しく短い推論時間で最先端の精度を達成し、従来手法に比べて速度と効率性で優れている。

ABSTRACT

A number of lane detection methods depend on a proposal-free instance segmentation because of its adaptability to flexible object shape, occlusion, and real-time application. This paper addresses the problem that pixel embedding in proposal-free instance segmentation based lane detection is difficult to optimize. A translation invariance of convolution, which is one of the supposed strengths, causes challenges in optimizing pixel embedding. In this work, we propose a lane detection method based on proposal-free instance segmentation, directly optimizing spatial embedding of pixels using image coordinate. Our proposed method allows the post-processing step for center localization and optimizes clustering in an end-to-end manner. The proposed method enables real-time lane detection through the simplicity of post-processing and the adoption of a lightweight backbone. Our proposed method demonstrates competitive performance on public lane detection datasets.

研究の動機と目的

• 畳み込みの平行移動不変性のため、プロポーザルフリーのインスタンスセグメンテーションにおけるピクセル埋め込み最適化の課題を解決すること。
• 直接中心予測と高速クラスタリングにより、後処理を簡素化することでリアルタイムなレーン検出を実現すること。
• 空間埋め込み空間に画像座標情報を組み込むことで、埋め込み最適化を改善すること。
• 埋め込みの軽量バックボーンを用い、埋め込みデプロイメントに適した競争力のあるパフォーマンスを達成すること。

提案手法

• 計算コストとメモリトラフィックを削減するため、FCHarDNetを軽量バックボーンとして使用する。
• 2本のブランチを導入：1つは各レーンインスタンスの中心を推定するためのオフセットマップ（ox, oy）を予測するもの、もう1つはクラスタリング信頼度（Sマップ）と帯域幅（σマップ）を予測するもの。
• 空間埋め込み e_i は e_i = [x + o^x; y + o^y] で定義され、x と y はピクセル座標を表し、平行移動不変性を緩和する座標に依存する埋め込みを実現する。
• 埋め込み損失は、背景ピクセルからの干渉を避けるために、前景ピクセルのみに Lovasz-hinge 損失を適用する。
• σ_k の過大評価を防ぐために、過剰なマージン成長をペナルティ化する帯域幅飽和損失を導入する。
• クラスタ間プッシュ損失とサンプリング損失を用いて、推論時のクラスタ分離性と中心位置の局在化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像座標に基づく空間埋め込みは、プロポーザルフリーのインスタンスセグメンテーションにおけるピクセル埋め込み最適化を改善できるか？
• RQ2 座標情報の組み込みは、畳み込みの平行移動不変性がレーン埋め込み学習に与える悪影響をどのように緩和できるか？
• RQ3 軽量バックボーンと簡素化された後処理を組み合わせることで、精度を損なわずにリアルタイム性能を達成できるか？
• RQ4 全画像損失と比較して、前景ピクセルのみの損失は収束性とクラスタリング品質をどの程度向上させるか？

主な発見

• 提案手法は、TuSimpleベンチマークで96.58%の精度を達成し、ベースライン（96.42%）を上回り、誤検出と見逃しの両方を削減した。
• 軽量バックボーンと高速な反復的後処理を組み合わせることで、V100 GPU上で推論時間がわずか3.20 msにまで短縮され、ベースラインのDBSCAN手法（6.64 ms）よりも著しく高速であった。
• 座標に依存する空間埋め込みのおかげで、長く細いレーン構造や遮蔽状態の処理において優れた性能を示した。
• アブレーションスタディの結果、空間埋め込み、前景ピクセルのみの損失、帯域幅飽和、クラスタ間プッシュの組み合わせが、精度と耐障害性の両方を向上させることを確認した。