[논문 리뷰] GRACE: Loss-Resilient Real-Time Video through Neural Codecs

Yihua Cheng, Ziyi Zhang외 10명|arXiv (Cornell University)|2023. 05. 21.

Image and Video Quality Assessment인용 수 6

한 줄 요약

Grace는 실시간 영상 통신에서 높은 패킷 손실에 대비해 인코더와 디코더를 함께 훈련시키는 신경망 영상 코덱을 제안한다. 다양한 손실 조건에서 훈련하고, 역으로 가능한 무작위 매핑과 무작위 제로화를 사용해 미분 가능한 손실 시뮬레이션을 구현함으로써, 고패킷 손실 상황에서도 높은 영상 품질을 유지한다. FEC 대비 불가역적 프레임 수를 95% 감소시키고 정지 시간을 90% 감소시키며, 사용자 연구에서 평균 평가 점수(MOS)를 38% 향상시킨다.

ABSTRACT

In real-time video communication, retransmitting lost packets over high-latency networks is not viable due to strict latency requirements. To counter packet losses without retransmission, two primary strategies are employed -- encoder-based forward error correction (FEC) and decoder-based error concealment. The former encodes data with redundancy before transmission, yet determining the optimal redundancy level in advance proves challenging. The latter reconstructs video from partially received frames, but dividing a frame into independently coded partitions inherently compromises compression efficiency, and the lost information cannot be effectively recovered by the decoder without adapting the encoder. We present a loss-resilient real-time video system called GRACE, which preserves the user's quality of experience (QoE) across a wide range of packet losses through a new neural video codec. Central to GRACE's enhanced loss resilience is its joint training of the neural encoder and decoder under a spectrum of simulated packet losses. In lossless scenarios, GRACE achieves video quality on par with conventional codecs (e.g., H.265). As the loss rate escalates, GRACE exhibits a more graceful, less pronounced decline in quality, consistently outperforming other loss-resilient schemes. Through extensive evaluation on various videos and real network traces, we demonstrate that GRACE reduces undecodable frames by 95% and stall duration by 90% compared with FEC, while markedly boosting video quality over error concealment methods. In a user study with 240 crowdsourced participants and 960 subjective ratings, GRACE registers a 38% higher mean opinion score (MOS) than other baselines.

연구 동기 및 목표

• 재전송이 불가능한 저지연 네트워크에서 고패킷 손실 상황에서도 고품질 실시간 영상 전송을 유지하는 데 도전한다.
• 고정된 부가 정보 임계값을 초과하면 급격히 품질이 떨어지는 전통적 FEC의 한계와, 압축 효율을 떨어뜨리고 인코더 인지 최적화가 어려운 오류 숨기기 기법의 한계를 극복한다.
• 손실 조건에 대한 사전 지식 없이도 광범위한 손실률 범위에서 일관된 영상 품질을 유지할 수 있는 시스템을 설계한다.
• 손실 발생 시 복원이 용이하도록 패킷 간 정보 분배 방식을 고려해 인코더와 디코더를 함께 최적화한다.
• 기존 영상 배달 파이프라인과의 호환성을 유지하면서도 현대 GPU에서 실시간 성능을 달성한다.

제안 방법

• 신경망 영상 코덱(NVC)을 활용해 신경망을 영상 인코딩 및 디코딩에 통합함으로써 엔드 투 엔드로 미분 가능한 훈련을 가능하게 한다.
• 실제 패킷 손실을 사용하는 대신 인코더 출력 텐서의 무작위 제로화를 통해 패킷 손실을 시뮬레이션함으로써 손실 과정을 역전파 가능하게 한다.
• NVC 호환성을 유지하고 파artition 오버헤드를 줄이기 위해 프레임 분할 시 역으로 가능한 무작위 매핑을 적용한다.
• 0%에서 50%까지 다양한 시뮬레이션 손실률을 기반으로 인코더와 디코더를 함께 훈련시어 다양한 네트워크 조건에서 일반화할 수 있도록 한다.
• 재전송이나 키프레임 업데이트 없이도 상태를 재동기화할 수 있는 새로운 실시간 재동기화 프로토콜을 도입하여 디코딩 연속성을 유지한다.
• 모델 정규화(Grace-Lite)와 하드웨어 인지 컴파일링(OpenVINO)을 활용해 실시간 성능를 최적화하여 모바일 및 CPU 플랫폼에서도 배포 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 시뮬레이션된 패킷 손실 조건 하에서 신경 인코더와 디코더를 함께 훈련시키는 것이 기존의 FEC나 오류 숨기기 기법에 비해 고손실률 상황에서 영상 품질을 크게 향상시킬 수 있는가?
• RQ2 무작위 제로화를 통한 미분 가능한 손실 시뮬레이션을 사용한 엔드 투 엔드 훈련이 비미분 가능하거나 히우리스틱 손실 모델링 대비 복원 품질과 손실 내성에 어떤 영향을 미치는가?
• RQ3 NVC 출력에서의 역으로 가능한 무작위 매핑과 분포 정규화가 파artition 오버헤드를 얼마나 줄이고 압축 효율을 향상시키는가?
• RQ4 손실 내성 신경 코덱이 소비자용 하드웨어(예: iPhone 14 Pro)에서 실시간 성능를 유지를 하면서도 주관적 및 객관적 지표에서 기존 기준 대비 뛰어난 성능을 보일 수 있는가?
• RQ5 손실 조건 하에서 인코더와 디코더를 함께 훈련시키는 것과 디코더만 또는 인코더만 훈련시키는 것의 복원 정확도와 내성에 대한 비교는 어떠한가?

주요 결과

• 실제 네트워크 트레이스와 다양한 영상 콘텐츠에서 Grace는 FEC 대비 불가역적 프레임 수를 95% 감소시키고 정지 시간을 90% 감소시킨다.
• 240명의 참가자와 960개의 평가가 포함된 커뮤니티 기반 사용자 연구에서, Grace는 경쟁 기준 대비 평균 평가 점수(MOS)를 38% 향상시켜 사용자가 인지하는 품질이 뛰어나다는 것을 입증한다.
• 손실 없음 조건에서는 H.265와 동등한 영상 품질을 유지하며, 손실률이 증가함에 따라 점진적이고 부드럽게 품질이 저하되며, FEC 및 오류 숨기기 방법을 모두 능가한다.
• NVIDIA A40 GPU에서 Grace는 720p 영상을 33 fps(프레임당 29.7 ms)로 인코딩하고 51.2 fps(프레임당 19.5 ms)로 디코딩하며, 재동기화로 인한 인코딩 지연은 추가로 6 ms 뿐이다.
• Grace-Lite는 iPhone 14 Pro에서 각각 38.1 ms와 14.4 ms의 지연으로 실시간 인코딩과 디코딩을 구현하며, 원래 지연 시간 대비 85% 이상 감소시켰고 강력한 손실 내성 성능를 유지한다.
• 제거 실험 결과, 인코더와 디코더를 함께 훈련시키는 것이 필수적임을 확인했다: 손실 조건 하에서 인코더만 훈련한 Grace-P나 디코더만 미세조정한 Grace-D는 전체 Grace에 비해 훨씬 열 劣한 내성 성능를 보였다.