[論文レビュー] Towards Real-time and Light-weight Line Segment Detection

Geonmo Gu, Byungsoo Ko+4 more|arXiv (Cornell University)|Jun 1, 2021

Robotics and Sensor-Based Localization参考文献 6被引用数 7

ひとこと要約

本稿では、リソース制約のある環境向けに、リアルタイムで軽量な線分検出器であるMobile LSD (M-LSD) を提案する。バックボーンネットワークを最小限に抑え、SoL増強と幾何学的学習方式を導入することで、M-LSDはTP-LSD-Liteのモデルサイズの2.5%にまで削減され、GPU上で130.5%高速な推論を達成する。Androidでは56.8 FPS、iPhoneでは48.6 FPSで動作し、モバイルデバイス上で初めてリアルタイムのディープラーニングベースのLSD手法を実現した。

ABSTRACT

Previous deep learning-based line segment detection (LSD) suffer from the immense model size and high computational cost for line prediction. This constrains them from real-time inference on computationally restricted environments. In this paper, we propose a real-time and light-weight line segment detector for resource-constrained environments named Mobile LSD (M-LSD). We design an extremely efficient LSD architecture by minimizing the backbone network and removing the typical multi-module process for line prediction in previous methods. To maintain competitive performance with such a light-weight network, we present novel training schemes: Segments of Line segment (SoL) augmentation and geometric learning scheme. SoL augmentation splits a line segment into multiple subparts, which are used to provide auxiliary line data during the training process. Moreover, the geometric learning scheme allows a model to capture additional geometry cues from matching loss, junction and line segmentation, length and degree regression. Compared with TP-LSD-Lite, previously the best real-time LSD method, our model (M-LSD-tiny) achieves competitive performance with 2.5% of model size and an increase of 130.5% in inference speed on GPU when evaluated with Wireframe and YorkUrban datasets. Furthermore, our model runs at 56.8 FPS and 48.6 FPS on Android and iPhone mobile devices, respectively. To the best of our knowledge, this is the first real-time deep LSD method available on mobile devices.

研究の動機と目的

• リソース制約のあるデバイスでのリアルタイム推論を妨げる、既存のディープラーニングベースの線分検出（LSD）手法における高い計算コストと大きなモデルサイズを解消すること。
• 線分予測のためのマルチモジュール処理を排除し、バックボーンネットワークを最小限に抑えることで、軽量なアーキテクチャを設計すること。
• 画素の圧縮に極めて強い性能を維持するための、革新的なトレーニング戦略を用いて、極端なモデル圧縮に対しても競争力のある検出性能を実現すること。
• 低遅延性と小さなフットプリントを最適化することで、AndroidおよびiPhoneを含むモバイルプラットフォームでのリアルタイム推論を可能にすること。

提案手法

• 不要なコンponentsを削除し、ネットワーク構造を単純化することで、モデルサイズとFLOPsを削減する、極めて効率的なバックボーンアーキテクチャを提案する。
• 線分を部分に分割することで補助的なトレーニングデータを生成する、Segment of Line (SoL) 増強手法を導入する。これにより一般化性能が向上する。
• 線分の一致損失、ジョイント検出、線分セグメンテーション、線分長および角度の回帰を同時に最適化する幾何学的学習方式を開発する。
• 複数の監視信号から得られる幾何的ヒントを統合したマルチタスク監視により、構造的理解を強化する。
• モデル圧縮と効率的なレイヤー設計による最適化により、推論速度を向上させ、モバイルデバイスへのデプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 大幅に縮小されたディープラーニングモデルは、モバイルデバイス上でリアルタイム推論を可能にしつつ、競争力のある線分検出性能を達成できるか？
• RQ2 SoL増強は、軽量な線分検出器の検出精度向上にどの程度効果的か？
• RQ3 複数の幾何的監視信号を統合することで、幾何学的学習方式がモデル性能をどの程度向上させるか？
• RQ4 リアルタイム線分検出において、モデルサイズ、推論速度、精度の間にはどのようなトレードオフが生じるか？

主な発見

• M-LSD-tinyは、WireframeおよびYorkUrbanデータセットでTP-LSD-Liteと同等の検出性能を維持しながら、モデルサイズを2.5%にまで削減した。
• GPU上では、M-LSD-tinyはTP-LSD-Liteに比べ130.5%高速な推論速度を達成し、顕著な効率性の向上を示した。
• Androidでは56.8 FPS、iPhoneでは48.6 FPSで動作し、モバイルプラットフォームにおけるリアルタイム推論能力を確認した。
• SoL増強と幾何学的学習の組み合わせにより、モデル圧縮にもかかわらず検出精度が顕著に向上した。
• 著者らの知る限り、M-LSDは、モバイルデバイス上でリアルタイム性能を達成する最初のディープラーニングベースの線分検出器である。