[논문 리뷰] Vanishing point detection with convolutional neural networks

Ali Borji|arXiv (Cornell University)|2016. 09. 04.

Visual Attention and Saliency Detection참고 문헌 10인용 수 25

한 줄 요약

이 논문은 약 37,497장의 자연스러운 이미지로 구성된 대규모 유튜브 유저가 제공하는 데이터셋을 기반으로, AlexNet 및 VGG와 같은 컨볼루션 신경망(CNN)을 사용하여 엔드 투 엔드로 훈련된 데이터 기반 접근법을 제안한다. 이 방법은 퇴적점 존재성 탐지에서 99.73%의 정확도와 10×10 격자에서의 상위 5위 오차율 5.1%를 달성하여 기존의 허프 및 기하학적 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Inspired by the finding that vanishing point (road tangent) guides driver's gaze, in our previous work we showed that vanishing point attracts gaze during free viewing of natural scenes as well as in visual search (Borji et al., Journal of Vision 2016). We have also introduced improved saliency models using vanishing point detectors (Feng et al., WACV 2016). Here, we aim to predict vanishing points in naturalistic environments by training convolutional neural networks in an end-to-end manner over a large set of road images downloaded from Youtube with vanishing points annotated. Results demonstrate effectiveness of our approach compared to classic approaches of vanishing point detection in the literature.

연구 동기 및 목표

• 기존 기하학적 및 구조적 접근법의 한계를 극복하기 위해 자연 환경에서의 퇴적점 탐지를 위한 딥 러닝 기반 방법을 개발하는 것.
• AlexNet 및 VGG와 같은 CNN의 성능을 다양한 실제 환경에서의 퇴적점 탐지에 평가하는 것.
• 건물,터널,스케치와 같은 새로운 이미지 유형에서 훈련된 모델의 일반화 능력을 조사하는 것.
• 향후 연구를 지원하기 위해 37,497장의 레이블이 부여된 대규모이고 다양한 이미지 데이터셋을 구축하고 공개하는 것.

제안 방법

• 도로 주행, 모험, 게임 세션 영상에서 유튜브 영상에서 약 37,497장의 프레임을 수집하여 대규모 데이터셋을 구축하였다. 이 데이터셋은 다양한 기상 조건, 지형, 조명 조건을 포함한다.
• 퇴적점은 저자에 의해 10×10, 20×20 또는 30×30 격자 맵 상에서 수작업으로 레이블링되었으며, 각 프레임에 대해 퇴적점이 포함된 격자 셀을 하나의 레이블로 지정하였다.
• 엔드 투 엔드로 훈련된 두 가지 딥 러닝 모델인 AlexNet과 VGG를 사용하여 퇴적점 존재성과 정확한 위치를 예측하도록 설계하였다.
• 존재성 예측을 위해 이진 분류 헤드를 사용하였으며, 63,916장의 이미지(34,497장의 퇴적점 존재, 29,419장의 존재 없음)를 20 에포크 동안 훈련하였다.
• 위치 추정을 위해 출력층을 다중 클래스 분류기로 설정하였으며, p = 100, 400 또는 900개의 클래스로 격자 위치를 선형화한 방식을 사용하였고, 40 에포크 동안 훈련하였다.
• 기준 모델은 가장 빈번한 퇴적점 위치(상위 1개 및 상위 5개 중심)를 사용하여 딥 러닝 성능와 비교하였다.

실험 결과

연구 질문

• RQ1 수작업 기반 기하학적 특징에 의존하지 않고, 컨볼루션 신경망이 자연스럽고 실제 환경에서 퇴적점을 효과적으로 탐지할 수 있는가?
• RQ2 딥 러닝 모델(AlexNet 및 VGG)의 성능이 허프 변환 및 Košecká-Zhang 알고리즘과 같은 전통적 방법보다 퇴적점 탐지에서 어떻게 다른가?
• RQ3 도로 영상에서 훈련된 CNN이 건물, 터널, 스케치와 같은 다양한 비정상적인 환경에서 퇴적점을 탐지하는 데 얼마나 잘 일반화되는가?
• RQ4 데이터 증강 및 데이터셋의 다양성이 퇴적점 탐지 모델의 강건성과 정확도에 어떤 영향을 미치는가?

주요 결과

• VGG 네트워크는 테스트 세트 6,000장의 이미지에서 퇴적점 존재성 예측 정확도 99.73%를 달성하여 AlexNet(98.9%)를 능가하였다.
• 20×20 격자에서 VGG 모델은 상위 5위 오차율 15.9%를 기록하여, 84.1%의 경우 15픽셀 이내로 퇴적점을 정확히 국소화하였다.
• 딥 러닝 모델의 상위 1위 정확도는 약 57%로, 상위 1위 중심 기준(16.5%) 및 허프 변환(상위 1위 정확도 35%)보다 뚜렷이 높았다.
• 건물 및 터널과 같은 비정상적인 환경에 대해서도 모델은 합리적인 일반화 능력을 보였지만, 스케치에 대해서는 실패하여 비사진적 콘텐츠에 대한 일반화 능력에 한계가 있음을 시사하였다.
• 딥 러닝과 전통적 방법 간의 성능 격차는 뚜렷했으며, 허프 변환은 20×20 격자에서 상위 1위 정확도 35%에 머물렀지만, CNN는 57%의 상위 1위 정확도를 기록하였다.
• 본 연구는 데이터 기반의 CNN가 다양한 실제 환경 데이터로 훈련된 경우 퇴적점 탐지에서 높은 정확도를 달성할 수 있음을 입증하였으며, 확장되고 증강된 데이터셋을 통해 모델의 일반화 능력을 향상시킬 수 있음을 보여주었다.