[논문 리뷰] Learning Attraction Field Representation for Robust Line Segment Detection

Nan Xue, Song Bai외 4명|arXiv (Cornell University)|2018. 12. 05.

Image and Object Detection Techniques인용 수 12

한 줄 요약

이 논문은 선분을 영역 분할과 힘장 지도로 모델링하여 강력한 선분 검출을 위한 새로운 힘장 표현을 제안한다. 이는 정확하고 효율적이며 강력한 엔드 투 엔드 딥 러닝을 가능하게 하며, 압축 모듈을 통합하여 검출 성능을 향상시킨다. 이 방법은 웨이브프레임 데이터셋에서 F-스코어를 4.5% 향상시키며, 6.6~10.4 FPS로 빠른 속도를 기록하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a region-partition based attraction field dual representation for line segment maps, and thus poses the problem of line segment detection (LSD) as the region coloring problem. The latter is then addressed by learning deep convolutional neural networks (ConvNets) for accuracy, robustness and efficiency. For a 2D line segment map, our dual representation consists of three components: (i) A region-partition map in which every pixel is assigned to one and only one line segment; (ii) An attraction field map in which every pixel in a partition region is encoded by its 2D projection vector w.r.t. the associated line segment; and (iii) A squeeze module which squashes the attraction field to a line segment map that almost perfectly recovers the input one. By leveraging the duality, we learn ConvNets to compute the attraction field maps for raw in-put images, followed by the squeeze module for LSD, in an end-to-end manner. Our method rigorously addresses several challenges in LSD such as local ambiguity and class imbalance. Our method also harnesses the best practices developed in ConvNets based semantic segmentation methods such as the encoder-decoder architecture and the a-trous convolution. In experiments, our method is tested on the WireFrame dataset and the YorkUrban dataset with state-of-the-art performance obtained. Especially, we advance the performance by 4.5 percents on the WireFrame dataset. Our method is also fast with 6.6~10.4 FPS, outperforming most of existing line segment detectors.

연구 동기 및 목표

• 로컬 모호성과 클래스 불균형과 같은 선분 검출 과제를 해결하기 위해.
• 이중 표현을 사용해 선분 검출 문제를 영역 칠하기 문제로 재정의하기 위해.
• 정확하고 효율적인 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 에ncoder-디코더 아키텍처와 애트로우스 컨volution 같은 기존의 세그먼테이션 기법을 활용해 성능을 향상시키기 위해.
• 실세계 데이터셋에서 노이즈와 변동성에 강건하고 고정밀도로 선분 검출을 수행하기 위해.

제안 방법

• 이 방법은 이중 표현을 도입한다: 각 픽셀을 하나의 선분에 할당하는 영역 분할 지도와, 각 픽셀이 할당된 선분에 대해 2차원 벡터를 인코딩하는 힘장 지도.
• 주의 기반 압축 모듈이 힘장을 정밀한 선분 지도로 압축하여 엔드 투 엔드 학습을 가능하게 한다.
• 원시 입력 이미지에서 직접 힘장 지도를 학습하기 위해 애트로우스 컨볼루션을 사용하는 깊은 에ncoder-디코더 컨볼루션 네트워크.
• 스킵 연결과 확장된 컨볼루션을 포함한 세그먼테이션 기반 원칙을 통합하여 공간적 세부 정보를 유지한다.
• 모델은 엔드 투 엔드로 힘장을 예측하도록 훈련되며, 이후 압축 모듈을 통해 최종 선분 지도를 생성한다.
• 벡터 필드를 통해 기하학적 관계를 명시적으로 모델링하여 노이즈와 변동성에 강건함을 확보한다.

실험 결과

연구 질문

• RQ1 학습된 힘장 표현이 도전적인 조건에서 선분 검출의 강건성과 정확도를 향상시킬 수 있는가?
• RQ2 영역 분할과 힘장의 이중 표현이 기존 방법에 비해 검출 성능을 어떻게 향상시키는가?
• RQ3 압축 모듈을 통한 엔드 투 엔드 딥 러닝이 원시 이미지에서 진짜 선분 지도를 얼마나 정확히 복원할 수 있는가?
• RQ4 애트로우스 컨볼루션과 스킵 연결과 같은 세그먼테이션 기법 통합이 선분 검출 성능을 향상시키는가?
• RQ5 제안된 방법이 선분 검출에서의 국소적 모호성과 클래스 불균형을 어떻게 다루는가?

주요 결과

• 이 방법은 이전 최신 기술 수준의 방법에 비해 웨이브프레임 데이터셋에서 F-스코어를 4.5% 향상시켰다.
• 모델은 6.6에서 10.4 프레임 매초로 실행되어 높은 추론 효율성을 입증했다.
• 힘장 표현은 각 픽셀의 기하학적 관계를 인코딩하여 국소적 모호성을 효과적으로 줄였다.
• 압축 모듈은 학습된 힘장에서 입력 선분 지도를 거의 완벽하게 복원할 수 있게 했다.
• 애트로우스 컨볼루션과 에ncoder-디코더 아키텍처의 통합은 특징 표현과 검출 정확도를 크게 향상시켰다.
• 웨이브프레임과 요크유럽 데이터셋에서의 검증을 통해 실세계 장면으로의 일반화 능력이 뛰어나다는 것이 입증되었다.