[논문 리뷰] Pixel-level Encoding and Depth Layering for Instance-level Semantic Labeling

Jonas Uhrig, Marius Cordts외 2명|arXiv (Cornell University)|2016. 04. 18.

Advanced Neural Network Applications참고 문헌 2인용 수 36

한 줄 요약

이 논문은 단일 단안 영상에서 개체 수준의 의미적 레이블링을 위한 완전 컨volution 네트워크(FCN) 기반 방법을 제안한다. 이 방법은 동시에 의미적 레이블, 깊이, 개체 중심 방향을 예측하며, 저수준 컴퓨터 비전 기법(예: 템플릿 매칭)을 활용하여 KITTI와 Cityscapes에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 이전 방법보다 개체 세분화 성능을 뛰어나게 하면서도 절대 깊이와 픽셀 수준의 의미적 정보를 추정한다.

ABSTRACT

Recent approaches for instance-aware semantic labeling have augmented convolutional neural networks (CNNs) with complex multi-task architectures or computationally expensive graphical models. We present a method that leverages a fully convolutional network (FCN) to predict semantic labels, depth and an instance-based encoding using each pixel's direction towards its corresponding instance center. Subsequently, we apply low-level computer vision techniques to generate state-of-the-art instance segmentation on the street scene datasets KITTI and Cityscapes. Our approach outperforms existing works by a large margin and can additionally predict absolute distances of individual instances from a monocular image as well as a pixel-level semantic labeling.

연구 동기 및 목표

• 기존의 복잡한 다중 작업 네트워크나 계산 비용이 큰 후처리에 의존하는 개체 인식 의미 레이블링 방법의 한계를 해결하기 위해.
• 단일 단안 영상에서 정확하고 실시간으로 개체 세분화, 깊이 추정, 픽셀 수준의 의미적 레이블링을 가능하게 하기 위해.
• FCN 예측과 효율적인 템플릿 매칭 및 깊이 층화 전략을 조합하여 붐비고 가림이 많은 도시 환경에서의 성능을 향상시키기 위해.
• 개체 제안에 의존하지 않는 제안 없음 방식을 제공하여 제안 품질에 따른 오류 전파를 줄이기 위해.

제안 방법

• 완전 컨volution 네트워크(FCN)가 픽셀당 세 가지 출력을 예측한다: 의미적 클래스, 개체 중심으로 향하는 방향 벡터, 이산적 깊이 수준.
• 방향 벡터는 카테고리별 점수 맵에서 템플릿 매칭을 통해 개체 제안을 생성하는 데 사용된다.
• 깊이 예측은 객체 크기 분포를 균형 있게 하기 위해 비균일한 범위를 가진 19개의 클래스로 이산화된다.
• 깊이 층화 전략을 사용하여 개체 제안을 정밀화하고 융합하며, 깊이 순서와 가림 추론을 강제한다.
• 개체 세분화를 위한 엔드 투 엔드 학습이 아닌, 표준 컴퓨터 비전 기법(예: 템플릿 매칭)을 FCN 출력과 조합한다.
• 후처리 단계에서는 예측된 깊이 및 방향 정보를 활용해 가림을 해결하고 세분화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 FCN이 개체 제안 없이도 고품질의 개체 세분화를 위해 충분한 단서(의미적 레이블, 깊이, 개체 중심 방향)를 예측할 수 있는가?
• RQ2 의미적 레이블링 성능 향상에 있어 깊이와 방향의 동시 예측이 복잡한 도시 환경에서 어떻게 기여하는가?
• RQ3 저수준 컴퓨터 비전 기법(예: 템플릿 매칭)이 FCN 출력을 효과적으로 활용하여 정확한 개체 마스크를 생성할 수 있는가?
• RQ4 이산적 깊이 클래스 기반의 깊이 층화 전략이 가림 추론과 세분화 정확도를 향상시키는가?

주요 결과

• 이 방법은 KITTI 및 Cityscapes 데이터셋에서 모두 최신 기술 수준의 개체 세분화 성능을 달성하며, 기존의 제안 기반 및 다중 작업 접근법을 능가한다.
• 개체 수준 평가에서, 이 방법은 모든 클래스에서 MCG+R-CNN 기준선을 크게 초월하며, 특히 자동차와 인간에 대해 뚜렷한 성과 향상을 보였다.
• 픽셀 수준의 의미적 세분화 성능에서도 경쟁력 있는 결과를 내며, iIoU 지표 기준으로 사람, 자동차, 자전거 등의 주요 클래스에서 대부분의 기준선을 뛰어넘었다.
• 버스, 트럭, 기차 등의 클래스에서는 FCN의 의미적 분류 정확도가 낮아지면서 이로 인해 템플릿 매칭 및 개체 생성에 영향을 미쳐 성능 저하가 발생했다.
• 객체 크기 분포를 기반으로 비균일한 19개의 깊이 클래스로 깊이를 이산화함으로써 템플릿 매칭의 신뢰성과 전체 성능이 향상되었다.