[논문 리뷰] Monocular Object Instance Segmentation and Depth Ordering with CNNs

Ziyu Zhang, Alexander G. Schwing외 2명|arXiv (Cornell University)|2015. 05. 12.

Advanced Vision and Imaging참고 문헌 38인용 수 34

한 줄 요약

이 논문은 단일 RGB 이미지에서 인스턴스 수준의 세분화와 깊이 순서를 동시에 예측하기 위해 다중 해상도 패치 예측과 마르코프 무작위장(MRF)을 활용한 CNN-MRF 프레임워크를 제안한다. 이는 KITTI 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, 인스턴스 수준 메트릭과 깊이 순서 정확도에서 베이스라인을 능가한다. 특히 후처리를 통해 2%의 성능 향상이 이루어진다.

ABSTRACT

In this paper we tackle the problem of instance-level segmentation and depth ordering from a single monocular image. Towards this goal, we take advantage of convolutional neural nets and train them to directly predict instance-level segmentations where the instance ID encodes the depth ordering within image patches. To provide a coherent single explanation of an image we develop a Markov random field which takes as input the predictions of convolutional neural nets applied at overlapping patches of different resolutions, as well as the output of a connected component algorithm. It aims to predict accurate instance-level segmentation and depth ordering. We demonstrate the effectiveness of our approach on the challenging KITTI benchmark and show good performance on both tasks.

연구 동기 및 목표

• 단일 단일 카메라 이미지에서 동시에 인스턴스 수준의 세분화와 깊이 순서를 예측하는 문제를 해결하기 위해.
• 객체 검출을 입력으로 요구하지 않고, 검출, 세분화, 깊이 순서 예측을 동시에 고려하는 방식을 통해 의존도를 줄이기 위해.
• 학습 시 3D 경계상자와 스테레오 데이터로부터 약한 감독 신호를 활용하면서도, 테스트 시에는 단일 RGB 이미지만 필요로 하기 위해.
• 다중 해상도에서의 CNN 예측을 결합하는 구조적 MRF를 통해 인스턴스 세분화와 깊이 순서의 정확성과 일관성을 향상시키기 위해.
• 자율 주행을 위한 복잡한 오염이 많은 KITTI 벤치마크에서의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 다중 해상도에서 조밀하게 샘플링된 이미지 패치에 대해 CNN을 사용하여 깊이 순서가 부여된 인스턴스 세분화를 예측한다.
• MRF의 단항 잠재변수는 겹치는 패치에서의 CNN 출력에서 유도되며, 이는 깊이 순서를 표현하는 인스턴스 ID를 포함한다.
• MRF의 이항 잠재변수는 CNN 기반의 유사도 측정을 사용하여 인접한 픽셀과 연결된 구성 요소 간의 일관성을 강제한다.
• 각 패치의 CNN 출력을 처리하기 위해 연결된 구성 요소 알고리즘을 적용하여 초기 인스턴스 후보를 생성한다.
• 최종 세분화와 깊이 순서는 단항 및 이항 항을 포함하는 MRF에서 에너지 최소화 문제를 푸는 방식으로 확보된다.
• MRF 추론을 통한 후처리가 성능 향상에 크게 기여하며, 특히 재현율과 깊이 순서 메트릭에서 두드러진다.

실험 결과

연구 질문

• RQ1 객체 검출을 입력으로 요구하지 않고도 단일 단일 카메라 이미지에서 정확한 인스턴스 수준의 세분화와 깊이 순서를 동시에 예측할 수 있는가?
• RQ2 다중 해상도 패치 기반의 CNN 예측과 MRF 추론을 조합함으로써 인스턴스 세분화와 깊이 순서 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 원자 단일 추론 또는 순수한 CNN 예측에 비해 MRF 기반의 후처리가 성능 향상에 얼마나 기여하는가?
• RQ4 KITTI 벤치마크와 같이 오염이 심하고 그림자, 작은 물체가 많은 복잡한 시나리오에 대해 이 방법이 얼마나 잘 일반화되는가?
• RQ5 3D 경계상자와 스테레오 데이터로부터 유도된 약한 감독 신호를 효과적으로 활용하여 단일 이미지 인스턴스 세분화 및 깊이 순서 예측 모델을 학습시킬 수 있는가?

주요 결과

• 완전한 MRF 접근법은 무작위로 샘플된 전경 픽셀 쌍 중 83.1%를 정확히 순서 매겨 베이스라인을 크게 능가한다.
• 후처리를 통해 약 2%의 성능 향상이 이루어지며, 특히 재현율과 MUCov/MWCov 메트릭에서 가장 큰 향상이 이루어진다.
• 이항 MRF 설정이 단일 항만을 사용한 추론보다 성능이 뛰어나며, 이는 구조적 추론이 성능 향상에 필수적임을 시사한다.
• KITTI 벤치마크에서 뛰어난 성능을 기록하며, 베이스라인 대비 높은 객체 정밀도와 개선된 재현율을 확보한다.
• 복잡한 오염 패턴이 존재하는 이미지 패치에서도 최대 5대의 자동차 인스턴스를 성공적으로 세분화하고 순서를 정렬할 수 있다.
• 실패 사례는 주로 CNN에서 빠지게 된 작은 차량과 연결된 구성 요소 알고리즘에서 발생한 병합 오류에서 기인한다.