[논문 리뷰] MGANet: A Robust Model for Quality Enhancement of Compressed Video

Xiandong Meng, Xuan Deng외 5명|arXiv (Cornell University)|2018. 11. 22.

Advanced Image Processing Techniques참고 문헌 39인용 수 25

한 줄 요약

MGANet는 양방향 잔차 합성곱 리커런트 순환 신경망(BRCLSTM)과 유도 주의 인코더-디코더를 통해 프레임 내 사전 지식과 프레임 간 시간 정보를 활용하여 압축 오류를 줄이는 강력한 다중 프레임 영상 품질 향상 네트워크를 제안한다. HEVC 변환 단위(TU) 분할 정보를 이용해 블록 경계를 강조하는 유도 맵을 생성함으로써 블록 경계 부근의 잡음 영역에 집중하게 하고, 다양한 비트레이트 조건에서도 시각적 품질과 강건성을 크게 향상시킨다. 이로 인해 기존 최고 성능(SOTA) 기준보다 PSNR 향상이 두드러지게 이루어졌다.

ABSTRACT

In video compression, most of the existing deep learning approaches concentrate on the visual quality of a single frame, while ignoring the useful priors as well as the temporal information of adjacent frames. In this paper, we propose a multi-frame guided attention network (MGANet) to enhance the quality of compressed videos. Our network is composed of a temporal encoder that discovers inter-frame relations, a guided encoder-decoder subnet that encodes and enhances the visual patterns of target frame, and a multi-supervised reconstruction component that aggregates information to predict details. We design a bidirectional residual convolutional LSTM unit to implicitly discover frames variations over time with respect to the target frame. Meanwhile, the guided map is proposed to guide our network to concentrate more on the block boundary. Our approach takes advantage of intra-frame prior information and inter-frame information to improve the quality of compressed video. Experimental results show the robustness and superior performance of the proposed method.Code is available at https://github.com/mengab/MGANet

연구 동기 및 목표

• 명시적 운동 추정에 의존하고 프레임 내 사전 지식를 忽略하는 기존의 단일 프레임 및 이중 단계 다중 프레임 영상 품질 향상 방법의 한계를 해결하기 위해.
• 프레임 내 구조적 사전 지식과 프레임 간 시간적 의존성을 통합하여 압축 영상에서의 강건성과 시각적 품질을 향상시키기 위해.
• HEVC 변환 단위(TU) 분할 정보를 블록 경계에서의 향상에 유도하는 데 사용할 수 있는 새로운 사전 지식로 활용해 보다 나은 성능을 얻고자 하였다.
• 명시적 운동 보정 없이도 다중 프레임 정보를 효과적으로 융합할 수 있는 완전 컨볼루션형, 엔드 투 엔드 학습 가능한 네트워크를 개발하기 위해.
• 미래의 영상 품질 향상 연구를 지원하기 위해 내부 및 외부 모드 코딩에 대한 TU 분할 정보 기반의 학습 데이터베이스를 구축하기 위해.

제안 방법

• 목표 프레임에 대한 프레임 간 변화를 암묵적으로 모델링하기 위해, 명시적 운동 추정에 의존하지 않는 양방향 잔차 합성곱 리커런트 순환 신경망(BRCLSTM)을 시간 인코더로 사용한다.
• 공유 가중치를 가진 유도 인코더-디코더 서브넷이 목표 프레임을 처리하며, 두 채널 입력(목표 프레임 및 유도 맵)을 사용하여 공간적 세부 정보를 향상시킨다.
• 블록 경계를 강조하기 위해 HEVC TU 분할 정보에서 유도 맵을 생성하여 네트워크의 집중을 잡음 발생 가능 영역으로 이끌어낸다.
• 다중 수준의 특징에서 복원 손실을 적용하여 맥락적 정보와 고주파 세부 정보를 통합함으로써 복원 성능을 향상시킨다.
• L1 손실과 인지적 손실의 조합을 통해 엔드 투 엔드로 학습하여 구조적 정확성과 시각적 충실도를 유지한다.
• 모델은 임의의 입력 프레임 수와 크기를 지원하여 다양한 길이의 영상 시퀀스에 대한 유연한 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적 운동 추정 없이도, 다중 프레임 내 사전 지식과 시간적 정보를 융합하여 압축 영상 품질을 효과적으로 향상시킬 수 있는 딥 러닝 모델이 존재하는가?
• RQ2 HEVC 변환 단위(TU) 분할 정보를 유도 맵으로 활용할 경우, 블록 경계에서의 잡음 감소에 어떤 영향을 미치는가?
• RQ3 최적의 시간적 맥락(프레임 수)은 무엇이며, 성능 및 계산 비용에 어떤 영향을 미치는가?
• RQ4 BRCLSTM은 초기 융합 또는 느린 융합과 같은 다른 시간 융합 전략에 비해 시간적 일관성 유지 및 잡음 감소 측면에서 어떤가?
• RQ5 제안된 방법은 다양한 비트레이트 설정(예: AI 대 LD)과 영상 콘텐츠 유형 간에 얼마나 강건하게 성능 향상을 이룰 수 있는가?

주요 결과

• AI 설정에서 MGANet는 평균 PSNR 향상 1.0049 dB(F3) 및 1.1123 dB(F5)를 달성하여 MFQE 및 DnCNN와 같은 SOTA 기법을 능가하였다.
• LD 설정에서 유도 맵 구성 요소는 0.4041 dB(F5) 향상 기여를 보이며, 블록 경계 영역 향상에 핵심적인 역할을 함을 확인하였다.
• AI 설정에서 BRCLSTM은 초기 융합 및 느린 융합보다 각각 0.0575 dB(F3) 및 0.0407 dB(F5) 우수한 성능을 보이며, 시간 동적 모델링에서의 우수성을 입증하였다.
• 저비트레이트(QP 37)에서도 높은 성능 유지를 유지하였으며, 주관적 평가 결과 ARCNN, VRCNN 및 MFQE 대비 더 선명한 윤곽선과 줄어든 리버버브/블록성 현상을 보였다.
• 5프레임 입력 기준 약 18ms의 추론 시간으로 실시간 처리가 가능하며, F3는 약 67개의 출력을 매초 생성하여 높은 계산 효율성을 입증하였다.
• 절단 분석 결과, 제안된 방법은 다양한 영상 콘텐츠 유형과 비트레이트 설정에서 일관된 PSNR 및 주관적 품질 향상을 보이며 강건성을 입증하였다.