[논문 리뷰] Towards Real-time and Light-weight Line Segment Detection

Geonmo Gu, Byungsoo Ko외 4명|arXiv (Cornell University)|2021. 06. 01.

Robotics and Sensor-Based Localization참고 문헌 6인용 수 7

한 줄 요약

이 논문은 자원이 제한된 환경을 위한 실시간, 경량 라인 세그먼트 검출기인 M-LSD를 제안한다. 백본 네트워크를 최소화하고 SoL 증강 및 기하학적 학습 기법을 도입함으로써 M-LSD는 TP-LSD-Lite의 모델 크기의 2.5%에 불과하면서도 GPU에서 130.5% 빠른 추론 속도를 달성한다. 또한 안드로이드에서 56.8 FPS, 아이폰에서 48.6 FPS로 작동하여 모바일 디바이스에서 실시간으로 작동하는 최초의 딥 러닝 기반 LSD 방법이 되었다.

ABSTRACT

Previous deep learning-based line segment detection (LSD) suffer from the immense model size and high computational cost for line prediction. This constrains them from real-time inference on computationally restricted environments. In this paper, we propose a real-time and light-weight line segment detector for resource-constrained environments named Mobile LSD (M-LSD). We design an extremely efficient LSD architecture by minimizing the backbone network and removing the typical multi-module process for line prediction in previous methods. To maintain competitive performance with such a light-weight network, we present novel training schemes: Segments of Line segment (SoL) augmentation and geometric learning scheme. SoL augmentation splits a line segment into multiple subparts, which are used to provide auxiliary line data during the training process. Moreover, the geometric learning scheme allows a model to capture additional geometry cues from matching loss, junction and line segmentation, length and degree regression. Compared with TP-LSD-Lite, previously the best real-time LSD method, our model (M-LSD-tiny) achieves competitive performance with 2.5% of model size and an increase of 130.5% in inference speed on GPU when evaluated with Wireframe and YorkUrban datasets. Furthermore, our model runs at 56.8 FPS and 48.6 FPS on Android and iPhone mobile devices, respectively. To the best of our knowledge, this is the first real-time deep LSD method available on mobile devices.

연구 동기 및 목표

• 기존 딥 러닝 기반 라인 세그먼트 검출(LSD) 방법의 높은 계산 비용과 큰 모델 크기로 인해 자원이 제한된 디바이스에서 실시간 추론이 어려운 문제를 해결한다.
• 백본 네트워크를 최소화하고 라인 예측을 위한 다중 모듈 처리를 제거함으로써 경량 아키텍처를 설계한다.
• 새로운 훈련 전략을 통해 극단적인 모델 압축에도 불구하고 경쟁 가능한 검출 성능를 유지한다.
• 저지연과 소형 모델을 고려한 최적화를 통해 안드로이드 및 아이폰을 포함한 모바일 플랫폼에서 실시간 추론을 가능하게 한다.

제안 방법

• 불필요한 구성 요소를 제거하고 네트워크 구조를 단순화하여 모델 크기와 FLOPs를 줄이는 초경량 백본 아키텍처를 제안한다.
• 라인 세그먼트를 부분으로 나누어 보조 훈련 데이터를 생성하고 일반화 성능를 향상시키는 Segment of Line (SoL) 증강 기법을 도입한다.
• 일치 손실, 절점 검출, 라인 세그먼트 분할, 라인 길이 및 각도의 회귀를 동시에 최적화하는 기하학적 학습 기법을 개발한다.
• 기하학적 특징을 다중 감독 신호로부터 통합하여 구조적 이해를 향상시키기 위해 다중 작업 감독을 사용해 모델을 훈련한다.
• 모델 압축 및 효율적인 레이어 설계를 통해 추론 속도를 최적화하여 모바일 디바이스에 배포 가능하게 한다.

실험 결과

연구 질문

• RQ1 극적으로 축소된 딥 러닝 모델이 모바일 디바이스에서 실시간 추론을 가능하게 하면서도 경쟁 가능한 라인 세그먼트 검출 성능를 달성할 수 있는가?
• RQ2 SoL 증강 기법이 경량 라인 세그먼트 검출기의 검출 정확도 향상에 얼마나 효과적인가?
• RQ3 다중 기하학적 감독 신호를 통합함으로써 기하학적 학습 기법이 모델 성능 향상에 어느 정도 기여하는가?
• RQ4 실시간 라인 세그먼트 검출에서 모델 크기, 추론 속도, 정확도 간의 상호 상충 관계는 어떠한가?

주요 결과

• M-LSD-tiny는 Wireframe 및 YorkUrban 데이터셋에서 TP-LSD-Lite의 모델 크기의 2.5%에 불과하면서도 경쟁 가능한 검출 성능를 유지를 하였다.
• GPU에서 M-LSD-tiny는 TP-LSD-Lite 대비 130.5% 더 빠른 추론 속도를 기록하여 높은 효율성 향상을 입증하였다.
• 모델은 안드로이드에서 56.8 FPS, 아이폰에서 48.6 FPS로 작동하여 모바일 플랫폼에서 실시간 추론 능력을 확인하였다.
• SoL 증강과 기하학적 학습 기법의 조합은 모델 압축에도 불구하고 검출 정확도를 크게 향상시켰다.
• 저자들의 지식에 비추어볼 때, M-LSD는 모바일 디바이스에서 실시간 성능를 달성한 최초의 딥 러닝 기반 라인 세그먼트 검출기이다.