[논문 리뷰] Non-Local ConvLSTM for Video Compression Artifact Reduction

Yi Xu, Longwen Gao외 3명|arXiv (Cornell University)|2019. 10. 27.

Advanced Image Processing Techniques참고 문헌 50인용 수 7

한 줄 요약

이 논문은 비디오 압축 잔상 감소를 위해 다수의 이전 및 이후 프레임을 활용하는 엔드 투 엔드 딥러닝 프레임워크인 NL-ConvLSTM을 제안한다. 명시적 운동 추정 없이도 성능을 향상시킨다. ConvLSTM와 근사 비국소 메커니즘을 통합함으로써 장거리 시공간적 종속성을 효율적으로 포착하여 HEVC 및 H.264로 압축된 비디오에서 최신 기술 수준의 성능을 달성하며, 시각적 품질과 시간적 일관성이 향상된다.

ABSTRACT

Video compression artifact reduction aims to recover high-quality videos from low-quality compressed videos. Most existing approaches use a single neighboring frame or a pair of neighboring frames (preceding and/or following the target frame) for this task. Furthermore, as frames of high quality overall may contain low-quality patches, and high-quality patches may exist in frames of low quality overall, current methods focusing on nearby peak-quality frames (PQFs) may miss high-quality details in low-quality frames. To remedy these shortcomings, in this paper we propose a novel end-to-end deep neural network called non-local ConvLSTM (NL-ConvLSTM in short) that exploits multiple consecutive frames. An approximate non-local strategy is introduced in NL-ConvLSTM to capture global motion patterns and trace the spatiotemporal dependency in a video sequence. This approximate strategy makes the non-local module work in a fast and low space-cost way. Our method uses the preceding and following frames of the target frame to generate a residual, from which a higher quality frame is reconstructed. Experiments on two datasets show that NL-ConvLSTM outperforms the existing methods.

연구 동기 및 목표

• 기존 방법이 단일 또는 쌍의 인접 프레임에만 의존하는 데서 비롯되는 한계를 해결하기 위해, 낮은 품질의 프레임에서 고품질 세부 정보를 놓치지 않도록 한다.
• 연속된 다수의 프레임 간 장거리 시공간적 종속성을 모델링하여 압축된 비디오에서 잔상 감소를 향상시킨다.
• 실시간 비디오 향상에 적합한 정확한 비국소 메커니즘의 저비용 대체 방법을 개발한다.
• HEVC 및 H.264를 포함한 다양한 비디오 압축 표준 간에 강건한 성능을 달성한다.
• 시간적 일관성을 유지하면서 시각적 품질을 향상시켜 재구성된 비디오 시퀀스에서 품질 변동을 줄인다.

제안 방법

• 다수의 프레임 간 시공간적 종속성을 모델링하기 위해 ConvLSTM와 근사 비국소 메커니즘을 결합한 새로운 엔드 투 엔드 딥 네트워크인 NL-ConvLSTM을 제안한다.
• 정확한 비국소 연산에 비해 계산 및 메모리 비용을 줄이기 위해 효율적으로 프레임 간 픽셀 수준 유사도를 계산하는 근사 비국소 전략을 도입한다.
• 대상 프레임의 이전 및 이후 프레임을 모두 입력으로 사용하여 잔차를 생성하고, 이를 압축된 프레임에 더하여 더 높은 품질의 출력을 재구성한다.
• 압축된 프레임과 지표 고품질 프레임 간의 차이를 예측하도록 잔차 학습 프레임워크를 활용한다.
• 명시적 운동 추정 및 보정을 피하는 경량이며 미분 가능한 모듈을 설계하여 직접 엔드 투 엔드 학습이 가능하게 한다.
• 전역 운동 패턴과 낮은 품질의 프레임 내 숨겨진 고품질 패치를 포착하는 다중 프레임 컨텍스트 집약 전략을 활용한다.

실험 결과

연구 질문

• RQ1 단일 또는 쌍의 이웃 프레임에 의존하는 방법과 비교해, 다수의 연속된 프레임(1~2개 초과)을 모델링함으로써 비디오 압축 잔상 감소에 기여할 수 있는가?
• RQ2 명시적 운동 추정 또는 보정 없이도, 압축된 비디오 시퀀스에서 전역 시공간적 종속성을 효과적으로 모델링할 수 있는가?
• RQ3 정확한 비국소 연산에 비해 계산 및 메모리 비용을 크게 줄이면서도 동등한 성능을 달성할 수 있는 근사 비국소 메커니즘은 가능한가?
• RQ4 제안된 방법은 HEVC 및 H.264와 같은 다양한 비디오 압축 표준에 일반화되는가?
• RQ5 재구성된 비디오 시퀀스에서 시간적 일관성을 얼마나 향상시키고 품질 변동을 얼마나 줄일 수 있는가?

주요 결과

• NL-ConvLSTM는 두 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 PSNR 및 SSIM 지표에서 모두 승리한다.
• Vimeo-90K 데이터셋에서 H.264로 압축된 비디오(QP=37)에 대해 PSNR가 1.43 dB 향상되고 SSIM이 0.011 향상되어 다양한 코덱에 대한 강력한 일반화 능력을 보였다.
• 기준 모델 및 MFQE보다 품질 변동을 더 효과적으로 줄였으며, PSNR 표준편차는 1.036 dB, PVD는 1.038 dB로 시간적 일관성이 향상됨을 시사한다.
• 시각적 결과에서는 ARCNN, DnCNN, DSCNN 및 MFQE와 비교해 더 나은 세부 정보 유지와 블록 잔상, 모스키토 노이즈, 리버버브 현상 감소를 보였다.
• 실행 시간 분석 결과, 약 1920×1080 해상도에서 약 2.6초의 프레임당 처리 시간을 기록하여 원본 비국소 버전(6738 ms)보다 훨씬 빠르게 실시간 사용에 적합함을 입증했다.
• 시각적 비교에서 대상 프레임이 이웃 프레임보다 국소 품질 지표에서 뛰어나지 못한 프레임에서도 고품질 패치를 성공적으로 복원함을 보여주었다.