[논문 리뷰] Detecting Road Obstacles by Erasing Them

Krzysztof Lis, Sina Honari외 2명|arXiv (Cornell University)|2020. 12. 25.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 도로 주행 영역을 보정하여 장애물을 제거한 후, 원본 이미지와 보정된 이미지 간의 차이를 분석하는 차이 네트워크를 사용하여 기존에 보지 못한 도로 장애물을 단일 영상으로 탐지하는 새로운 단안 방법을 제안한다. Cityscapes에서 생성한 합성 데이터만으로 훈련되었음에도 불구하고, 실제 장애물과 다양한 도로 표면에 대해 효과적으로 일반화되며, 추가 애너테이션 없이도 기존 방법들을 능가한다.

ABSTRACT

Vehicles can encounter a myriad of obstacles on the road, and it is impossible to record them all beforehand to train a detector. Instead, we select image patches and inpaint them with the surrounding road texture, which tends to remove obstacles from those patches. We then use a network trained to recognize discrepancies between the original patch and the inpainted one, which signals an erased obstacle.

연구 동기 및 목표

• 훈련 데이터에 수집하고 애너테이션을 부여하기 어려운 희귀하고 예측 불가능한 도로 장애물을 탐지하는 문제를 해결하기 위해.
• 재학습 없이도 새로운 장애물과 도로 질감에 일반화 가능한 단일 영상 기반 단안 장애물 탐지 시스템을 개발하기 위해.
• 이미지 보정을 통한 합성 데이터 증강을 활용하여 장애물 탐지에 있어 대규모 애너테이션 데이터셋 의존도를 제거하기 위해.
• 실제 주행 환경에서의 도로 질감 변화, 마킹, 시점 효과에 대한 강건성을 향상시키기 위해.

제안 방법

• 주변 픽셀의 맥락을 활용하여 이격된 도로 영역을 보정하는 슬라이딩 윈도우 방식을 사용하여 장애물을 효과적으로 제거한다.
• 원본 이미지 패치와 그 보정된 버전을 비교하는 차이 네트워크를 훈련시켜, 뚜렷한 차이가 나는 영역을 강조함으로써 장애물 영역을 식별한다.
• Cityscapes의 애너테이션된 객체(예: 보행자, 표지판 등)를 도로 표면에 재배치하여 새로운 장애물을 시뮬레이션함으로써 합성 장애물 데이터를 생성한다.
• 진짜 장애물과 자연스러운 도로 질감 변화 또는 복원 아티팩트를 구분할 수 있도록 대조 손실을 사용하여 차이 네트워크를 훈련시킨다.
• 오직 도로 주행 영역 내의 장애물만 관련이 있다고 가정하며, 지도된 라벨 또는 사전 구현된 도로 세그멘테이션을 통해 위치를 정의한다.
• 성능 평가는 새로운 벤치마크 데이터셋과 Fishyscapes Lost & Found 벤치마크를 사용하며, 단일 RGB 카메라를 통한 추론을 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 애너테이션된 장애물 데이터 없이 단일 RGB 영상만으로도 이전에 보지 못한 도로 장애물을 탐지할 수 있는가?
• RQ2 이미지 보정 후 차이 학습을 통해 실제 장애물과 자연스러운 도로 질감 변화 또는 마킹을 효과적으로 구분할 수 있는가?
• RQ3 Cityscapes에서 유래한 합성 장애물 데이터만으로 훈련된 모델이 새로운 장애물과 도로 표면을 가진 실제 환경에 일반화되는가?
• RQ4 기존의 단안 이상 탐지 기법과 비교해 본다면, 제안된 방법은 탐지 정확도와 강건성 측면에서 어떤가?

주요 결과

• 제안된 방법은 Fishyscapes Lost & Found 벤치마크에서 기존의 단안 장애물 탐지기법을 능가하며, 새로운 장애물에 대한 강력한 제로샷 일반화 성능을 입증한다.
• 이상한 물체와 다양한 도로 표면을 포함한 새로 수집된 데이터셋에서 최신 기술 수준의 성능을 달성하여, 분포 이탈에 대한 강건성을 확인한다.
• 아블레이션 연구 결과, 보정과 차이 네트워크 모두 필수적임을 입증한다. 둘 중 하나를 제거하면 성능이 크게 떨어지며, 특히 보정 없이 훈련한 버전이 가장 열 劣하다.
• GAN 기반 이미지 재생성 기반의 Resynthesis 버전은 제안된 방법보다 성능이 열 劣함을 확인하여, 맥락 인식 보정이 장애물 탐지에 더 효과적임을 시사한다.
• 불완전한 도로 세그멘테이션을 사용할 경우에도 여전히 효과적으로 작동함을 확인하여, 주행 가능 영역 탐지 오류에 대한 내성 강도를 보여준다.
• A100에서 프레임당 6.7초의 높은 계산 비용에도 불구하고, 향후 지도 학습을 위한 레이블 없이 영상에서 장애물을 효과적으로 추출할 수 있음.