[논문 리뷰] Automated Detecting and Placing Road Objects from Street-level Images

Chaoquan Zhang, Hongchao Fan외 3명|arXiv (Cornell University)|2019. 08. 29.

Automated Road and Building Extraction참고 문헌 50인용 수 8

한 줄 요약

이 논문은 두 개의 합성곱 신경망(CNN)을 사용하여 스트리트 레벨 이미지에서 도로 객체—예를 들어 신호등과 교통 표지—를 자동으로 검출하고 지리적 위치를 특정하는 딥러닝 파이프라인을 제시한다. 이 파이프라인은 도로 객체 간의 공간적 관계를 모델링하고 OpenStreetMap(이하 OSM)의 기능과 매칭하기 위해 특성 부여된 상위 구조 이진 트리(ATBT)를 통합한다. 베를린 사례 연구에서 높은 위치 정확도와 완전성을 확보하여 도로 교차로의 정밀 지ap핑을 가능하게 한다.

ABSTRACT

Navigation services utilized by autonomous vehicles or ordinary users require the availability of detailed information about road-related objects and their geolocations, especially at road intersections. However, these road intersections are mainly represented as point elements without detailed information, or are even not available in current versions of crowdsourced mapping databases including OpenStreetMap(OSM). This study develops an approach to automatically detect road objects and place them to right location from street-level images. Our processing pipeline relies on two convolutional neural networks: the first segments the images, while the second detects and classifies the specific objects. Moreover, to locate the detected objects, we establish an attributed topological binary tree(ATBT) based on urban grammar for each image to depict the coherent relations of topologies, attributes and semantics of the road objects. Then the ATBT is further matched with map features on OSM to determine the right placed location. The proposed method has been applied to a case study in Berlin, Germany. We validate the effectiveness of our method on two object classes: traffic signs and traffic lights. Experimental results demonstrate that the proposed approach provides near-precise localization results in terms of completeness and positional accuracy. Among many potential applications, the output may be combined with other sources of data to guide autonomous vehicles

연구 동기 및 목표

• OpenStreetMap와 같은 커뮤니티 기반 지ap핑 지도에서 교차로의 세밀하고 지리적으로 위치가 특정된 도로 객체 데이터의 부족을 해결하기 위해.
• 스트리트 레벨 이미지만을 사용하여 도로 객체를 자동으로 검출하고 정확하게 위치를 지정하는 시스템을 개발하기 위해.
• 도로 객체 데이터의 의미적 및 공간적 정확성을 향상시켜 자율 주행 차량 및 일반 사용자의 내비게이션 서비스를 향상시키기 위해.
• 특성 부여된 상위 구조 이진 트리(ATBT)를 사용하여 도로 객체 간의 복잡한 상위 구조적 및 의미적 관계를 모델링하기 위해.

제안 방법

• 두 단계의 합성곱 신경망(CNN) 파이프라인을 사용한다: 첫 번째는 스트리트 레벨 이미지의 의미적 세그멘테이션을 위한 것이고, 두 번째는 객체 검출 및 분류를 위한 것이다.
• 각 이미지에 대해 도로 객체의 상위 구조적 구조, 공간적 특성, 의미적 관계를 인코딩하기 위해 특성 부여된 상위 구조 이진 트리(ATBT)를 구축한다.
• ATBT는 객체 간의 계층적 및 상호관계적 정보를 캡처하며, 교차로에서의 상대적 위치와 기능적 역할을 포함한다.
• 유사도 기반 매칭 알고리즘을 사용하여 ATBT를 기존 OpenStreetMap(OSM) 기능과 매칭시켜 검출된 객체에 정확한 지리적 위치를 할당한다.
• 도시 문법 원칙을 활용하여 도시 환경에서 도로 객체의 타당한 공간 구성 구조를 모델링한다.
• 시스템은 독일 베를린에서 실세계 사례 연구를 통해 평가된다. 주요 대상은 교통 표지와 신호등이다.

실험 결과

연구 질문

• RQ1 스트리트 레벨 이미지를 효과적으로 활용하여 교통 표지 및 신호등과 같은 도로 객체를 높은 정확도로 검출하고 지리적 위치를 특정할 수 있는가?
• RQ2 도로 객체 간의 상위 구조적 및 의미적 관계를 어떻게 모델링하여 정위치 정확도를 향상시킬 수 있는가?
• RQ3 특성 부여된 상위 구조 이진 트리(ATBT)가 OSM의 기존 지도 기능과 검출된 객체를 매칭하는 데 얼마나 기여하는가?
• RQ4 복잡한 교차로에서 기존 지도 제작 방법에 비해 제안된 방법은 완전성과 위치 정확도 측면에서 얼마나 우수한가?

주요 결과

• 제안된 방법은 교통 표지와 신호등의 위치를 높은 정확도로 정위치화하며, OSM 지도 기능과의 비교에서 거의 정밀한 배치를 보여준다.
• ATBT 기반 모델링은 공간적 및 의미적 관계를 인코딩함으로써 객체 매칭의 강건성을 크게 향상시켜 정위치 오차를 감소시킨다.
• 시스템은 기존 지도에서 세부 정보가 부족한 복잡한 도시 교차로에서도 도로 객체 검출의 높은 완전성을 달성한다.
• 베를린 사례 연구는 실세계 조건에서 본 방법의 효과성을 확인하며, 교통 표지와 신호등 모두의 성공적인 검출 및 정위치를 입증한다.
• CNN 기반 검출과 상위 구조적 추론의 통합은 직접적인 GPS 데이터가 없거나 정확도가 떨어지는 경우에도 신뢰할 수 있는 지리적 위치 특정을 가능하게 한다.