[논문 리뷰] Single View Depth Estimation from Examples

Tal Hassner, Ronen Basri|arXiv (Cornell University)|2013. 04. 14.

Advanced Vision and Imaging참고 문헌 3인용 수 17

한 줄 요약

이 논문은 단일 영상에서 깊이를 추정하기 위해 3D 기하 구조 데이터베이스를 활용하여 비모수적이고 예시 기반의 방법을 제안한다. 이미지 패치를 렲상된 예시 외관에 매칭하기 위해 우도 함수의 하드-EM 최적화를 사용함으로써, 얼굴, 손, 물고기, 전신 인물 등 다양한 객체 유형에 대해 정확한 깊이 예측이 가능해지며, 예시의 실시간 업데이트와 가림된 깊이 추정도 지원한다.

ABSTRACT

We describe a non-parametric, "example-based" method for estimating the depth of an object, viewed in a single photo. Our method consults a database of example 3D geometries, searching for those which look similar to the object in the photo. The known depths of the selected database objects act as shape priors which constrain the process of estimating the object's depth. We show how this process can be performed by optimizing a well defined target likelihood function, via a hard-EM procedure. We address the problem of representing the (possibly infinite) variability of viewing conditions with a finite (and often very small) example set, by proposing an on-the-fly example update scheme. We further demonstrate the importance of non-stationarity in avoiding misleading examples when estimating structured shapes. We evaluate our method and present both qualitative as well as quantitative results for challenging object classes. Finally, we show how this same technique may be readily applied to a number of related problems. These include the novel task of estimating the occluded depth of an object's backside and the task of tailoring custom fitting image-maps for input depths.

연구 동기 및 목표

• 단일 영상 깊이 추정의 불안정한 성격을 해결하기 위해 3D 예시 기하 구조 데이터베이스에서 유도된 형태 사전 지식을 활용한다.
• 특정 조명, 표면 또는 시나리오 성질을 가정하지 않고도 어려운 객체 유형(예: 손, 무늬가 있는 물고기, 비강성 몸체)에 대한 깊이 추정을 가능하게 한다.
• 무한한 시야 조건을 다루기 위해 재구성 과정 중 예시 세트를 동적으로 업데이트할 수 있는 메커니즘을 개발한다.
• 이와 유사한 작업들, 예를 들어 가려진 뒷면 깊이 추정 및 입력 깊이에 맞는 맞춤형 이미지맵 생성과 같은 작업으로 방법을 확장한다.
• 외관 일관성과 깊이 타당성을 균형 잡는 우도 기반 최적화 프레임워크를 체계화한다.

제안 방법

• 이 방법은 이미지 패치를 3D 예시 기하 구조의 렌더링된 외관에 매칭함으로써 패치 수준에서 깊이 추정을 수행한다.
• 이미지 외관과 알려진 예시 깊이 간의 균형을 이루는 잘 정의된 목표 우도 함수를 최적화하기 위해 하드-EM 절차를 사용한다.
• 재구성 과정 중에 실시간으로 새로운 예시 외관을 생성하여 예상치 못한 시야 조건과 자세를 커버한다.
• 예시 선택 과정에서 비정상성(non-stationarity)을 강제 적용하여 오해의 소지가 있는 매칭을 방지하고, 구조적 형태에 대한 강건성을 향상시킨다.
• 학습된 가중치를 활용해 다중 척도 특징(깊이, 고주파 성분, YCbCr 및 상대적 위치)을 외관 매칭에 통합한다.
• 동일한 외관-깊이 매핑 프레임워크를 재사용하여 뒷면 깊이 추정 및 텍스처 매핑과 같은 추가 응용을 지원한다.

실험 결과

연구 질문

• RQ1 특정 조명, 표면 또는 시나리오 성질을 가정하지 않고도 비모수적이고 예시 기반 접근이 정확한 단일 영상 깊이 추정을 달성할 수 있는가?
• RQ2 유한한 3D 예시 집합이 단일 영상 내에서 무한한 시야 조건과 새로운 객체 자세로 일반화될 수 있는가?
• RQ3 비정상성은 구조적 형태에 대한 예시 선택 향상과 깊이 모호성 방지에 어떤 역할을 하는가?
• RQ4 동일한 프레임워크를 활용해 가려진 깊이 추정 및 새로운 깊이 입력에 맞는 맞춤형 이미지맵 생성이 가능할 수 있는가?
• RQ5 이 방법은 물고기나 전신 인물과 같이 도전적인 비강성 및 고도로 무늬가 있는 객체 유형에 대해 정량적으로 얼마나 잘 성능을 내는가?

주요 결과

• 이 방법은 얼굴, 손, 물고기, 전신 인물 등 다양한 객체 유형에 대해 정성적 및 정량적 검증을 통해 정확한 깊이 추정을 달성한다.
• 인간 및 부스트 데이터셋의 경우, 매번 12개의 예시 이미지를 사용하였으며, 2.8GHz Pentium 4에서 200×150 영상당 약 7.5분의 런타임을 기록하였다.
• 이 방법은 무늬와 자세의 변화에 강건성을 보였으며, 복잡한 형태의 고도로 무늬가 있는 물고기의 깊이도 성공적으로 추정하였다.
• 실시간 예시 업데이트 기법이 일반화 능력을 크게 향상시켜 이전에 본 적 없는 시야 조건을 커버할 수 있게 하였다.
• 이 방법은 가려진 뒷면 영역의 깊이도 성공적으로 추정하여 표준 깊이 예측을 넘어서는 유용성을 입증하였다.
• 실패 원인은 주로 데이터베이스 이미지맵의 색상 불일치(부스트) 또는 이질적인 입력 깊이(물고기)에서 기인하여, 외관 불일치와 입력 품질에 민감함을 보였다.