[논문 리뷰] FoveaNet: Perspective-aware Urban Scene Parsing

Xin Li, Zequn Jie외 8명|arXiv (Cornell University)|2017. 08. 08.

Advanced Neural Network Applications참고 문헌 34인용 수 9

한 줄 요약

FoveaNet는 차량에 장착된 카메라 이미지에서 발생하는 스케일 이질성 문제를 해결하기 위해 카메라 투시 기하학을 명시적으로 모델링하는 시점 인식 딥러닝 프레임워크를 제안한다. 컨volutional 네트워크를 통해 시점 스코어를 추정하고 스케일 정규화 및 시점 인식 CRF를 적용함으로써, FoveaNet는 Cityscapes와 CamVid에서 최신 기술 수준(SOTA) 성능을 달성하며, 소형 객체의 경계 오차와 대형 외곽 객체에서 발생하는 '분리된' 오차를 감소시킨다.

ABSTRACT

Parsing urban scene images benefits many applications, especially self-driving. Most of the current solutions employ generic image parsing models that treat all scales and locations in the images equally and do not consider the geometry property of car-captured urban scene images. Thus, they suffer from heterogeneous object scales caused by perspective projection of cameras on actual scenes and inevitably encounter parsing failures on distant objects as well as other boundary and recognition errors. In this work, we propose a new FoveaNet model to fully exploit the perspective geometry of scene images and address the common failures of generic parsing models. FoveaNet estimates the perspective geometry of a scene image through a convolutional network which integrates supportive evidence from contextual objects within the image. Based on the perspective geometry information, FoveaNet "undoes" the camera perspective projection analyzing regions in the space of the actual scene, and thus provides much more reliable parsing results. Furthermore, to effectively address the recognition errors, FoveaNet introduces a new dense CRFs model that takes the perspective geometry as a prior potential. We evaluate FoveaNet on two urban scene parsing datasets, Cityspaces and CamVid, which demonstrates that FoveaNet can outperform all the well-established baselines and provide new state-of-the-art performance.

연구 동기 및 목표

• 투시 효과에 의한 스케일 이질성으로 인해 일반적인 세그멘테이션 모델이 도시 환경 이미지에서 성능이 열 劣하는 문제를 해결하기 위해.
• 자기 중심 카메라 시점에서 먼 거리에 있는 소형 객체나 큰 근접 객체에서 발생하는 '분리된' 오류를 극복하기 위해.
• 세분화 정확도를 향상시키기 위해 시점 기하학을 구조적 사전 지식으로 통합하기 위해.
• 시점 추정, 스케일 정규화, 적응형 CRF 추론을 통합한 단일 프레임워크를 개발하여 강력한 환경 분석을 가능하게 하기 위해.

제안 방법

• 모든 픽셀의 시점 가까움 정도를 나타내는 밀도 있는 시점 스코어를 예측하기 위해 CNN을 사용해 시점 추정 네트워크(PEN)를 훈련한다.
• 시야 중심부(이미지의 중심 영역)의 스케일 정규화를 적용하여 먼 거리에 있는 소형 객체의 스케일을 통일시켜 더 신뢰할 수 있는 분석을 가능하게 한다.
• 두 가지 분기로 구성된 FCN 아키텍처를 설계: 일반 세그멘테이션을 위한 코arse 분기와 시점 정규화된 특징을 처리하는 시야 분기.
• 시점 스코어를 사전 잠재력으로 사용하는 시점 인식 밀도 CRF 모델을 도입하여, 소형 객체 경계를 보존하는 적응형 스무딩을 가능하게 한다.
• 시점 스코어가 높은 픽셀(먼 거리 객체)에는 약한 스무딩, 낮은 스코어 픽셀(근접 객체)에는 강한 스무딩을 적용하는 잠재력 함수를 최적화하여 CRF를 조정한다.
• 다중 스케일 감시와 CRF 기반 정밀 조정을 사용하여, Cityscapes와 CamVid에서 FoveaNet 전체 아키텍처를 엔드 투 엔드로 미세 조정한다.

실험 결과

연구 질문

• RQ1 자기 중심 카메라로 촬영한 도시 환경 이미지에서 시점 기하학을 모델링하면 세그멘테이션 성능이 크게 향상되는가?
• RQ2 시점 인식 스케일 정규화는 투시 투영에서 먼 거리에 있는 소형 객체의 분석 정확도에 어떤 영향을 미치는가?
• RQ3 표준 CRF에 비해 시점 인식 CRF는 대형 외곽 객체에서 발생하는 '분리된' 세그멘테이션 오류를 어느 정도 감소시킬 수 있는가?
• RQ4 도메인 특화의 시점 추정이 도시 환경에서 세그멘테이션 아티팩트를 줄이기 위한 사전 지식으로서 깊이 예측보다 더 효과적인가?

주요 결과

• FoveaNet는 Cityscapes 테스트 세트에서 최신 기술 수준 성능을 달성하여, 평균 IoU가 89.3%이고 인스턴스 수준 IoU가 77.6%이며, 이는 이전의 SOTA 방법을 초월한다.
• Cityscapes에서 FoveaNet는 기본 FCN 대비 인스턴스 수준 IoU(iIoU)를 최대 5.2% 향상시켜 소형 객체 처리 능력이 뛰어나다는 것을 입증했다.
• CamVid에서 FoveaNet는 전역 정확도 93.3%와 평균 정확도 81.8%를 기록하여, 최고의 베이스라인 대비 각각 1.7점과 3.7점 향상되었다.
• 절단 실험 결과, 시점 인식 CRF가 소형 객체를 과도하게 스무딩하지 않고도 '분리된' 오류를 감소시키며, 표준 CRF와 깊이 인식 CRF를 모두 능가하는 성능을 보였다.
• 시점 추정 네트워크는 전체 환경 기하학을 성공적으로 포착하였으며, 높은 시점 스코어일수록 카메라에서의 거리가 더 멀다는 상관관계를 보였다.
• 시점 인식 정규화와 적응형 CRF 추론의 조합이 두 데이터셋과 다양한 평가 지표에서 일관된 성능 향상을 이끌어냈다.