[논문 리뷰] GRACE: Loss-Resilient Real-Time Video Communication Using Data-Scalable Autoencoder

Yihua Cheng, Anton Arapin외 5명|arXiv (Cornell University)|2022. 10. 29.

Video Coding and Compression Technologies인용 수 4

한 줄 요약

Grace는 데이터 스케일러블한 자동에코더를 사용하여 패킷 손실 상황에서도 품질이 점진적으로 저하되는 실시간 영상 시스템을 제안한다. 이는 비어 있지 않은 패킷의 임의의 부분집합에서도 복호화를 가능하게 하며, 기존 코덱 대비 95퍼센트 분위수 프레임 지연을 최대 2배까지 감소시킨다. 이상적인 조건에서는 품질 손실이 극히 미미하다.

ABSTRACT

Across many real-time video applications, we see a growing need (especially in long delays and dynamic bandwidth) to allow clients to decode each frame once any (non-empty) subset of its packets is received and improve quality with each new packet. We call it data-scalable delivery. Unfortunately, existing techniques (e.g., FEC, RS and Fountain Codes) fall short: they require either delivery of a minimum number of packets to decode frames, and/or pad video data with redundancy in anticipation of packet losses, which hurts video quality if no packets get lost. This work explores a new approach, inspired by recent advances of neural-network autoencoders, which make data-scalable delivery possible. We present Grace, a concrete data-scalable real-time video system. With the same video encoding, Grace's quality is slightly lower than traditional codec without redundancy when no packet is lost, but with each missed packet, its quality degrades much more gracefully than existing solutions, allowing clients to flexibly trade between frame delay and video quality. Grace makes two contributions: (1) it trains new custom autoencoders to balance compression efficiency and resilience against a wide range of packet losses; and (2) it uses a new transmission scheme to deliver autoencoder-coded frames as individually decodable packets. We test Grace (and traditional loss-resilient schemes and codecs) on real network traces and videos, and show that while Grace's compression efficiency is slightly worse than heavily engineered video codecs, it significantly reduces tail video frame delay (by 2$ imes$ at the 95th percentile) with the marginally lowered video quality

연구 동기 및 목표

• 동적이고 손실이 발생하는 네트워크 조건에서 실시간 영상 전송 시 영상 품질과 프레임 지연을 균형 있게 조절하는 과제를 해결한다.
• 최소 패킷 수요 조건이 필요하거나 복구 능력을 위해 품질을 희생하는 전통적인 손실 복구 기법(예: FEC 및 폭발형 코드)의 한계를 극복한다.
• 모든 비어 있지 않은 패킷 조합에서도 복호화 가능한 데이터 스케일러블 전달 방식을 구현한다. 수신된 패킷 수가 증가할수록 품질이 점진적으로 향상된다.
• 패킷 손실이 발생하지 않을 경우 높은 영상 품질을 유지하면서도, 패킷 손실률이 증가함에 따라 품질이 점진적으로 저하되는 시스템을 설계한다.
• 패킷 손실에 강건하도록 훈련된 신경망 자동에코더를 통합하여, 손실 패tern에 대한 사전 지식 없이도 통합 소스-채널 코딩을 구현한다.

제안 방법

• 훈련 중에 시뮬레이션된 패킷 손실을 적용하여 맞춤형 자동에코더를 훈련시켜 압축 효율성과 데이터 손실에 대한 내성까지 동시에 학습한다.
• 각 프레임을 개별적으로 복호할 수 있는 패킷으로 전송하는 새로운 전송 방식을 도입하여, 도착한 패킷의 임의의 부분집합에서도 복호화가 가능하도록 한다.
• SVC와 같은 계층적 기반 방식과 달리, 도착한 패킷 수에 따라 품질이 부드럽게 향상되는 데이터 스케일러블 추상화를 구현한다.
• 신경망의 미분 가능성을 활용해, 패킷 손실이 비미분 가능하더라도 다양한 손실 시나리오에서 자동에코더 행동을 최적화한다.
• WebRTC 및 표준 영상 워크로드와 호환되는 실시간 영상 파이프라인에 자동에코더 기반 시스템을 통합한다.
• 예를 들어 Vimeo-90K 및 COCO 데이터셋에서 사전 훈련된 자동에코더를 기반으로 하되, 아키텍처를 변경하지 않고 데이터 스케일러비리티를 위해 미세조정한다.

실험 결과

연구 질문

• RQ1 신경 자동에코더는 증가하는 패킷 손실률 상황에서도 영상 품질이 점진적으로 저하되도록 훈련시킬 수 있는가? 이는 데이터 스케일러블 전달을 가능하게 하는가?
• RQ2 실제 네트워크 조건에서, 데이터 스케일러블 자동에코더 시스템의 영상 품질과 프레임 지연은 기존의 손실 복구 코덱(예: FEC가 적용된 H.264)과 비교해 어떻게 성능을 내는가?
• RQ3 패킷 손실을 시뮬레이션하여 자동에코더를 훈련시키는 것이 압축 효율성에 크게 영향을 주지 않으면서도 복구 능력을 얼마나 향상시키는가?
• RQ4 데이터 스케일러블 전달 방식은 정확한 손실 예측이나 재전송이 불필요한 실시간 영상 시스템에서 꼬리 지연을 줄이는 데 얼마나 효과적인가?
• RQ5 재전송이 고 RTT로 인해 효과가 떨어지는 상황에서, 특히 네트워크 지터가 심하고 대역폭이 변동하는 환경에서 시스템은 어떻게 성능을 내는가?

주요 결과

• Grace는 기존 코덱 및 손실 복구 기법 대비 95퍼센트 분위수 프레임 지연을 최대 2배까지 감소시키며, 손실이 없는 조건에서는 품질 손실이 극히 미미하다.
• 패킷 손실이 없는 조건에서는 Grace의 영상 품질이 H.264와 유사하며, 복구 능력을 위해 내재된 트레이드오���으로 인해 약간의 감소가 있다.
• 패킷 손실이 증가함에 따라 Grace의 영상 품질은 FEC, 폭발형 코드, SVC보다 더 점진적으로 저하되며, 심한 손실 상황에서도 사용 가능한 품질을 유지한다.
• 시스템은 비어 있지 않은 패킷의 임의의 부분집합에서도 복호화가 가능하므로, 기존의 전방 오류 정정 기법에서 요구하는 최소 패킷 수 조건이 필요 없다.
• Grace의 압축 효율성은 동일 비트레이트에서 H.264 및 H.265와 유사하며, 최적의 코딩 효율성을 위해 최적화되지 않았음에도 불구하고 성능을 유사하게 유지한다.
• 기존의 혼잡 제어 및 적응형 스트리밍 기법과 상호 보완적이며, 정확한 손실 예측 및 재전송에 대한 의존도를 줄인다.