[논문 리뷰] Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects

Denys Rozumnyi, Martin R. Oswald외 2명|arXiv (Cornell University)|2021. 06. 16.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 단일 운동 흐림 이미지에서 빠르게 움직이는 물체의 질감 있는 3D 형태, 운동, 선명한 외관을 동시에 복원하는 새로운 방법인 Shape from Blur(SfB)를 제안한다. 물체의 형태, 운동, 질감을 3D로 모델링하고 정규화를 통한 미분 가능 렌더링으로 최적화함으로써 SfB는 최신 기술 수준의 흐림 제거 성능을 달성하며, 시간적 초해상도 및 새로운 시점 합성도 가능하게 하여 기존 2D 전용 방법들보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We address the novel task of jointly reconstructing the 3D shape, texture, and motion of an object from a single motion-blurred image. While previous approaches address the deblurring problem only in the 2D image domain, our proposed rigorous modeling of all object properties in the 3D domain enables the correct description of arbitrary object motion. This leads to significantly better image decomposition and sharper deblurring results. We model the observed appearance of a motion-blurred object as a combination of the background and a 3D object with constant translation and rotation. Our method minimizes a loss on reconstructing the input image via differentiable rendering with suitable regularizers. This enables estimating the textured 3D mesh of the blurred object with high fidelity. Our method substantially outperforms competing approaches on several benchmarks for fast moving objects deblurring. Qualitative results show that the reconstructed 3D mesh generates high-quality temporal super-resolution and novel views of the deblurred object.

연구 동기 및 목표

• 빠르게 움직이는 물체(FMOs)의 단일 이미지에서 흐림을 제거하는 데 도전하는 데서, 기존 2D 흐림 제거 방법들이 복잡한 3D 운동을 모델링하지 못하는 데서 비롯된다.
• 2D 외관 모델링을 넘어서 FMOs의 3D 형태, 질감, 운동(3D 이동 및 회전 포함)을 동시에 추정하는 것을 목적으로 한다.
• 물체의 선명하고 질감 있는 3D 메시를 복원함으로써 고품질의 시간적 초해상도 및 새로운 시점 합성을 가능하게 한다.
• 2D 컨volution 모델보다 더 잘 운동 흐림을 설명할 수 있는 엄밀한 3D 기반 이미지 형성 모델을 제공한다.
• 기존 2D 전용 접근 방식에 비해 3D 모델링이 훨씬 뛰어난 흐림 제거 및 재구성 정밀도를 제공함을 입증한다.

제안 방법

• 이 방법은 노출 기간 동안 일정한 3D 이동 및 회전을 갖는 3D 물체의 미분 가능 렌더링과 배경을 조합하여 입력 이미지를 모델링한다.
• 3D 질감 있는 메esh를 2D 이미지 공간으로 투영하기 위해 미분 가능 렌더러를 사용하며, 렌더링된 이미지와 입력 이미지 간의 재구성 오차를 최소화한다.
• 형태, 운동, 외관에 대한 정규화를 통해 최적화를 이끌며, 질감에 대한 총 미분 및 흐림 커널에 대한 흐린 밀도를 포함한다.
• 학습된 3D 형태 프로토타입(예: 구, 평면 등)을 변형하여 관측된 흐림에 맞추기 위해 테스트 시점 최적화 파이프라인을 사용한다.
• 엔드 투 엔드 최적화를 통해 물체의 초기 6-DoF 자세, 3D 이동, 3D 회전, 선명한 질감을 동시에 추정한다.
• 매트팅 마스크를 활용하고, 이미지 재구성 및 기하학적 일致성 항목을 포함한 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 단일 이미지 흐림 제거 설정에서 형태, 운동, 질감을 3D로 모델링하는 것이 2D 전용 방법보다 더 나은 재구성 및 흐림 제거 성능을 이끌 수 있는가?
• RQ2 3D 형태 변형을 통한 미분 가능 렌더링은 단일 흐린 입력에서 더 선명하고 정확한 복원된 이미지 및 시간적 초해상도를 생성할 수 있는가?
• RQ3 3D 운동(이동 및 회전)을 모델링하면 2D 운동 모델에 비해 물체 기하학 및 외관 복원에 얼마나 기여하는가?
• RQ4 사전 지도 학습이나 고속 카메라 없이 단일 이미지 방법이 빠르게 움직이는 물체의 3D 형태와 운동을 얼마나 잘 복원할 수 있는가?
• RQ5 복원된 3D 형태는 단일 흐린 이미지에서 새로운 시점 합성 및 고품질 영상 생성을 가능하게 할 수 있는가?

주요 결과

• SfB는 빠르게 움직이는 물체 흐림 제거 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 일반적 및 FMO 전용 2D 흐림 제거 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 고품질의 시간적 초해상도를 가능하게 하여 단일 흐린 이미지에서 임의의 높은 프레임 레이트로 영상을 생성할 수 있었다.
• 새로운 시점 합성이 성공적으로 구현되었으며, 시스템은 단일 입력 이미지에서 60° 각도 범위 내에서 일관된 물체 시점을 생성하였다.
• 제거 분석 결과, 모든 손실 항목, 7개의 프로토타입(4개의 오염자 포함), 그리고 5배 더 많은 통합 단계를 사용할 경우 성능 향상가능하나, 최적화 시간이 증가하였다.
• 이미지 노이즈 및 압축 아티팩트가 존재하더라도 복원 오차 최소화 덕분에 방법은 강건한 성능 유지를 유지하였다.
• 이 방법은 단일 운동 흐린 이미지에서 3D 형태, 운동, 선명한 질감을 동시에 추정하는 최초의 방법으로서 분야의 새로운 기준을 설정하였다.