[논문 리뷰] Real-time Deep Video Deinterlacing

Haichao Zhu, Xueting Liu외 2명|arXiv (Cornell University)|2017. 08. 01.

Advanced Image Processing Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 단일 GPU에서 실시간 성능를 달성하면서도 기존 스캔라인을 그대로 유지하고, 홀수 및 짝수 필드에서 온 시간 정보를 활용해 누락된 스캔라인만 복원하는, 실시간 영상 디인터레이싱을 위한 최초의 딥 컨volution 신경망(DCNN) 기반 방법을 제안한다. 층 공유 아키텍처를 도입하여 다양한 해상도에서 시각적 품질과 계산 효율성 측면에서 이전 방법들을 능가한다.

ABSTRACT

Interlacing is a widely used technique, for television broadcast and video recording, to double the perceived frame rate without increasing the bandwidth. But it presents annoying visual artifacts, such as flickering and silhouette "serration," during the playback. Existing state-of-the-art deinterlacing methods either ignore the temporal information to provide real-time performance but lower visual quality, or estimate the motion for better deinterlacing but with a trade-off of higher computational cost. In this paper, we present the first and novel deep convolutional neural networks (DCNNs) based method to deinterlace with high visual quality and real-time performance. Unlike existing models for super-resolution problems which relies on the translation-invariant assumption, our proposed DCNN model utilizes the temporal information from both the odd and even half frames to reconstruct only the missing scanlines, and retains the given odd and even scanlines for producing the full deinterlaced frames. By further introducing a layer-sharable architecture, our system can achieve real-time performance on a single GPU. Experiments shows that our method outperforms all existing methods, in terms of reconstruction accuracy and computational performance.

연구 동기 및 목표

• 기존 디인터레이싱 방법의 한계를 해결하기 위해, 시간 정보를 忽시하는 경우(품질 저하) 또는 비용이 많이 드는 운동 추정에 의존하는 경우(속도 저하)를 방지하고자 한다.
• 표준 슈퍼레졸루션 DCNN의 이동 불변성 가정을 극복하고자 하며, 이는 존재하는 스캔라인과 누락된 스캔라인에 대해 일관되지 않은 처리로 인해 디인터레이싱에서 블러링 및 아티팩트를 유발하기 때문이다.
• 홀수 및 짝수 필드 간의 시간적 일관성을 활용하여 실시간 디인터레이싱 성능를 유도함으로써 시각적 품질을 훼손하지 않도록 하고자 한다.
• 기존 스캔라인을 유지하면서 오직 누락된 스캔라인만 복원하는 새로운 DCNN 아키텍처를 설계하고자 한다. 이는 복원 정확도를 향상시키기 위함이다.

제안 방법

• 이 방법은 전체 인터레이스 프레임을 입력으로 받아, 누락된 스캔라인만 포함한 두 개의 반프레임(홀수 및 짝수)을 출력하며, 기존 스캔라인은 그대로 유지한다.
• 이중 브랜치 DCNN 아키텍처를 사용하여, 각 브랜치는 홀수 및 짝수 입력 필드의 특징을 활용해 하나의 누락된 반프레임을 복원한다.
• 하위 수준의 컨볼루션 레이어를 두 브랜치 간에 공유함으로써 계산 비용을 감소시키고, 학습 및 추론 속도를 향상시킨다.
• 누락된 스캔라인의 복원 오차를 최소화하기 위해 픽셀 단위 손실(L2 손실 등)을 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 기존 스캔라인과 누락된 스캔라인에 대해 다르게 대응함으로써 이동 불변성 가정을 피하고, 물체 경계에서의 블러링을 방지한다.
• 실시간 추론을 최적화하여, 단일 GPU에서 1024×768 해상도에서 33 fps 성능를 달성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 존재하는 스캔라인을 유지하면서도 누락된 스캔라인을 효과적으로 복원하고, 실시간 성능를 유지는가?
• RQ2 홀수 및 짝수 필드에서 온 시간 정보를 통합함으로써, 내부 필드 방법 대비 디인터레이싱 품질이 어떻게 향상되는가?
• RQ3 이중 브랜치 네트워크 간의 층 공유 전략이 복원 정확도를 떨어뜨리지 않으면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 DCNN에서 이동 불변성 가정을 회피함으로써 가장자리 보존 성능가 향상되고 아티팩트가 감소하는가?
• RQ5 DCNN 기반 디인터레이싱 방법은 전통적인 운동 기반 방법과 슈퍼레졸루션 스타일 방법을 모두 뛰어넘어 시각적 품질과 속도에서 승리할 수 있는가?

주요 결과

• 제안된 방법은 단일 GPU에서 1024×768 해상도에서 33 fps 성능를 달성하여, 모든 경쟁 방법보다 계산 효율성이 뛰어나다.
• 평균적으로, 이 방법은 SRCNN을 디인터레이싱에 재학습한 버전과 ELA, Bicubic 등의 전통적 방법을 포함한 모든 베이스라인 방법보다 높은 PSNR 및 SSIM 점수를 기록한다.
• 층 공유 전략을 통해 두 개의 별도 네트워크를 학습하는 것에 비해 추론 시간을 약 2/3 감소시켰으며, 거의 동일한 복원 품질을 유지는 데 성공했다.
• 특히 움직이는 물체의 윤곽선 주변에서 블러링 및 할로 효과와 같은 시각적 아티팩트를 크게 감소시켰다.
• 극도로 큰 운동이나 매우 얇은 수평 구조에서 실패 케이스가 발생하며, 이 경우 네트워크가 인터레이싱 아티팩트를 실제 특징으로 잘못 판단할 수 있다.
• ELA(CPU 기반 방법)보다 속도와 품질 면에서 모두 승리했으며, 더 높은 복잡도를 지닌 SRCNN 및 기타 슈퍼레졸루션 모델보다도 복원 정확도에서 뛰어난 성능를 기록했다.