[논문 리뷰] Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture

David Eigen, Rob Fergus|arXiv (Cornell University)|2014. 11. 18.

Advanced Vision and Imaging참고 문헌 37인용 수 127

한 줄 요약

이 논문은 단일 RGB 이미지에서 깊이, 표면 법선, 의미 레이블을 공유된 아키텍처를 사용해 예측하는 통합 다중 해상도 컨볼루션 신경망을 제안한다. 세 단계의 해상도(粗, 中, 細)에서 점진적으로 예측을 정밀화함으로써, 슈퍼픽셀이나 저수준 세그멘테이션에 의존하지 않고도 모든 세 가지 작업에서 최신 기술 수준의 성능을 달성하며, 약 30Hz에서 실시간 추론이 가능하다.

ABSTRACT

In this paper we address three different computer vision tasks using a single basic architecture: depth prediction, surface normal estimation, and semantic labeling. We use a multiscale convolutional network that is able to adapt easily to each task using only small modifications, regressing from the input image to the output map directly. Our method progressively refines predictions using a sequence of scales, and captures many image details without any superpixels or low-level segmentation. We achieve state-of-the-art performance on benchmarks for all three tasks.

연구 동기 및 목표

• 깊이, 표면 법선, 의미 레이블 등의 다양한 시cene 이해 출력을 예측할 수 있는 단일 공유 딥 러닝 아키텍처를 개발한다.
• 슈퍼픽셀나 저수준 세그멘테이션과 같은 수작업으로 구성된 요소에 의존하지 않고, 계층적 다중 해상도 특징 학습을 통해 이를 제거한다.
• 점차적으로 해상도를 높여가는 예측을 정밀화하는 통합 네트워크를 사용해 다양한 작업에서 성능을 향상시킨다.
• 모든 세 가지 출력에 대해 실시간 추론(약 30Hz)을 가능하게 하여 로봇공학 및 증강현실 분야에의 구현을 촉진한다.
• 단일 아키텍처가 깊이, 법선, 의미 세그멘테이션 벤치마크에서 전용 모델보다 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 세 단계의 스택된 해상도(粗: 저해상도 전경, 中, 細: 고해상도 정밀화)를 가진 다중 해상도 컨볼루션 네트워크를 사용한다.
• 각 해상도에서 디컨볼루션 레이어를 사용해 특징을 추출하고 출력 맵을 업샘플링 및 정밀화함으로써 예측을 개선한다.
• 粗 해상도는 깊이 및 법선 예측에 필수적인 전역적 맥락을 제공하며, 더 세밀한 해상도는 국소적 세부 정보를 포착한다.
• 작업별 손실 함수를 사용해 엔드 투 엔드로 학습한다: 깊이 예측에는 L1 손실, 법선 추정에는 각도 기반 손실, 의미 세그멘테이션에는 교차 엔트로피 손실을 사용한다.
• 초기 해상도의 특징 맵을 후속 해상도의 특징 맵과 연결함으로써 국소 정밀화가 전역 맥락에 의해 영향을 받을 수 있도록 한다.
• 粗 해상도에 대해 ImageNet 사전 학습 가중치를 초기화하여 수렴성과 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 단일 다중 해상도 컨볼루션 신경망 아키텍처가 깊이 예측, 표면 법선 추정, 의미 레이블링이라는 세 가지 다른 컴퓨터 비전 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 粗 전역 수용장(스케일 1)이 국소 정밀화만을 사용하는 경우와 비교해 깊이 및 법선 예측 성능에 어떤 영향을 미치는가?
• RQ3 동일한 네트워크에서 예측된 깊이 및 법선 정보를 보조 입력으로 사용할 경우, 의미 세그멘테이션 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 아키텍처가 슈퍼픽셀, CRF 또는 복잡한 후처리에 의존하는 전용 모델보다 우수한 성능을 낼 수 있는가?
• RQ5 정확도를 희생시키지 않고도 모델이 모든 세 가지 출력을 약 30Hz에서 실시간으로 생성할 수 있는가?

주요 결과

• 다중 해상도 아키텍처는 깊이 예측(0.198 평균 상대 오차, NYU Depth v2), 표면 법선 추정(75.3% 평균 각도 정확도), 13클래스 의미 세그멘테이션(64.0% 픽셀 정확도)에서 최신 기술 수준의 성능를 달성한다.
• 가장粗한 해상도(Scale 1)가 깊이 및 법선 예측에 가장 큰 기여를 하며, 전역 맥락의 중요성을 입증한다. 반면 중간 해상도(Scale 2)는 의미 세그멘테이션에 가장 큰 영향을 미친다.
• 예측된 깊이 및 법선을 의미 세그멘테이션 헤드에 보조 입력으로 사용할 경우, Scale 2만 사용할 경우 RGB 입력보다 성능 향상이 발생하지만, 두 해상도를 모두 사용할 경우는 미미한 향상에 그친다—이는 네트워크가 이러한 신호를 독립적으로 학습할 수 있음을 시사한다.
• RGB 입력만으로도 13클래스 의미 세그멘테이션에서 64.0% 픽셀 정확도를 달성하여 슈퍼픽셀나 CRF를 사용하는 이전 방법을 뛰어넘는다.
• 모델은 추론 시 약 30Hz로 작동하여 모든 세 가지 작업에서 실시간 배포가 가능하다.
• 무작위 초기화 상태에서도粗 해상도만으로도 13클래스 세그멘테이션에서 54.5% 정확도를 달성하여, 전역 시cene 이해에 있어 이 단계의 핵심적 역할을 확인한다.