[논문 리뷰] Occlusion-Aware Video Deblurring with a New Layered Blur Model

Byeongjoo Ahn, Tae Hyun Kim외 2명|arXiv (Cornell University)|2016. 11. 29.

Advanced Image Processing Techniques참고 문헌 36인용 수 3

한 줄 요약

이 논문은 구성과 블러링 연산의 순서를 재정렬함으로써 물리적 블러 생성 과정을 정확히 반영하는 새로운 계층적 블러 모델을 사용하여 음영 인식 영상 복원 방법을 제안한다. 음영을 강도 감쇠가 아닌 커널 절단을 통해 모델링함으로써, 특히 물체 경계에서 기존의 계층적 모델보다 뛰어난 복원 성능을 달성한다. 이는 합성 및 실세계 영상 시퀀스 모두에서 기존 모델을 능가한다.

ABSTRACT

We present a deblurring method for scenes with occluding objects using a carefully designed layered blur model. Layered blur model is frequently used in the motion deblurring problem to handle locally varying blurs, which is caused by object motions or depth variations in a scene. However, conventional models have a limitation in representing the layer interactions occurring at occlusion boundaries. In this paper, we address this limitation in both theoretical and experimental ways, and propose a new layered blur model reflecting actual blur generation process. Based on this model, we develop an occlusion-aware deblurring method that can estimate not only the clear foreground and background, but also the object motion more accurately. We also provide a novel analysis on the blur kernel at object boundaries, which shows the distinctive characteristics of the blur kernel that cannot be captured by conventional blur models. Experimental results on synthetic and real blurred videos demonstrate that the proposed method yields superior results, especially at object boundaries.

연구 동기 및 목표

• 기존 계층적 블러 모델이 음영 경계에서 계층 간 상호작용을 올바르게 표현하지 못하는 한계를 해결한다.
• 셔터 열려 있는 동안 실제 블러 형성 과정을 정확히 반영하는 생성적 블러 모델을 개발한다.
• 음영이 있는 장면에서 명료한 전경, 배경, 운동 벡터, 알파 매트릭스를 정확하게 추정할 수 있도록 한다.
• 물체 경계에서의 블러 커널 특성에 대한 이론적 및 실험적 분석을 제공하여 이전 모델이 간과한 성질을 밝혀낸다.

제안 방법

• 구성과 블러링의 순서를 뒤바꿔 구성: 먼저 각 계층을 개별적으로 블러 처리한 후 조합함으로써 물리적 블러 생성 과정을 반영하는 새로운 계층적 블러 모델을 제안한다.
• 새로운 모델 기반의 우도 함수를 수립하여 잠재 이미지, 운동, 알파 매트릭스 추정을 위한 최적화를 이끌어낸다.
• 통제된 음영과 운동을 가진 합성 학습 및 평가 데이터를 생성하기 위해 물리 기반 렌더러를 사용한다.
• 경계 복원 향상과 모호한 픽셀 혼합 처리를 위해 효과적인 정규화 및 최적화 기법을 적용한다.
• 음영 경계에서의 블러 커널을 강도 감쇠가 아닌 절단된 형태로 모델링하여 실제 음영 지속 시간을 반영한다.
• 블러된 프레임에서 운동, 깊이, 명료한 이미지를 동시에 추정하는 영상 복원 파이프라인에 새로운 모델을 통합한다.

실험 결과

연구 질문

• RQ1 기존 계층적 블러 모델은 음영 경계에서 진짜 블러 생성 과정을 어떻게 잘못 표현하는가?
• RQ2 기존 모델이 포착하지 못하는 물체 경계에서의 블러 커널의 고유한 특성은 무엇인가?
• RQ3 물리적 블러 과정을 따르는 재정렬된 계층적 블러 모델이 음영 영역에서의 복원 성능을 향상시킬 수 있는가?
• RQ4 제안된 모델이 커널 절단을 처리하는 방식이 강도 감쇠와 비교할 때 재구성 품질에 어떤 영향을 미치는가?
• RQ5 복잡한 음영이 존재하는 상황에서 새로운 모델이 운동, 분할, 명료한 이미지를 얼마나 정확하게 복원할 수 있는가?

주요 결과

• 제안된 계층적 블러 모델은 블러 커널 길이를 절단함으로써 음영을 정확히 표현하며, 이는 물리적 블러 과정과 일치한다.
• 모델은 상대적 계층 속도에 따라 경계에서 블러 커널이 겹치거나 분리될 수 있음을 드러내며, 이는 이전 모델이 포착하지 못한 성질이다.
• 실험 결과, [35]와 [19]에 비해 음영 경계에서 블러 복원 품질이 크게 향상되었으며, 특히 리버버버션 아티팩트를 줄이는 데 효과적이다.
• 렌더링된 시퀀스를 통해 음영 물체가 블러되어 있어도 명료한 전경과 배경을 성공적으로 복원함을 입증하였다.
• 이론적 분석을 통해 Wulff와 Black [35]의 모델은 정적 배경 조건 하에서 제안된 모델의 특수한 경우임을 확인하였다.
• 합성 및 실세계 블러 영상 모두에서 최신 기술 수준의 성능을 달성하였으며, 특히 경계 복원과 계층 분리에서 뛰어난 성능을 보였다.