[논문 리뷰] Towards AI-Assisted Sustainable Adaptive Video Streaming Systems: Tutorial and Survey

Reza Farahani, Zoha Azimi외 2명|arXiv (Cornell University)|2024. 06. 04.

Image and Video Quality Assessment인용 수 4

한 줄 요약

이 종합적 서베이는 영상 스트리밍 전 주기(인코딩, 전달, 재생, 품질 평가 포함) 동안 에너지 효율성을 향상시키기 위해 AI 기반 프레임워크를 제안한다. 기계학습 및 설명 가능 AI(XAI)와 같은 AI 기법을 통합함으로써, 높은 경험 품질(QoE)을 유지하면서도 탄소 배출을 줄일 수 있는 지속 가능한 적응형 영상 스트리밍 시스템의 가능성을 입증한다. 주요 초점은 통합적 시스템 최적화 및 최근의 생성형 AI 응용 분야에 있다.

ABSTRACT

Improvements in networking technologies and the steadily increasing numbers of users, as well as the shift from traditional broadcasting to streaming content over the Internet, have made video applications (e.g., live and Video-on-Demand (VoD)) predominant sources of traffic. Recent advances in Artificial Intelligence (AI) and its widespread application in various academic and industrial fields have focused on designing and implementing a variety of video compression and content delivery techniques to improve user Quality of Experience (QoE). However, providing high QoE services results in more energy consumption and carbon footprint across the service delivery path, extending from the end user's device through the network and service infrastructure (e.g., cloud providers). Despite the importance of energy efficiency in video streaming, there is a lack of comprehensive surveys covering state-of-the-art AI techniques and their applications throughout the video streaming lifecycle. Existing surveys typically focus on specific parts, such as video encoding, delivery networks, playback, or quality assessment, without providing a holistic view of the entire lifecycle and its impact on energy consumption and QoE. Motivated by this research gap, this survey provides a comprehensive overview of the video streaming lifecycle, content delivery, energy and Video Quality Assessment (VQA) metrics and models, and AI techniques employed in video streaming. In addition, it conducts an in-depth state-of-the-art analysis focused on AI-driven approaches to enhance the energy efficiency of end-to-end aspects of video streaming systems (i.e., encoding, delivery network, playback, and VQA approaches). Finally, it discusses prospective research directions for developing AI-assisted energy-aware video streaming systems.

연구 동기 및 목표

• 전 세계 인터넷 트래픽의 약 ~70%를 차지하고 탄소 배출에 상당한 기여를 하는 영상 스트리밍의 증가하는 환경적 영향을 다루기.
• 영상 스트리밍 전 주기의 AI 응용 분야를 종합적으로 다루는 서베이의 부족을 규명하며, 에너지 소비 및 QoE 간의 트레이드오프를 포함한다.
• 인코딩, 전달 네트워크, 재생, 영상 품질 평가(VQA)를 아우르는 59개의 AI 기반 에너지 인지 솔루션에 대한 통합 분류 체계와 최신 기술 분석을 제공한다.
• 에지 컴퓨팅, 서버리스 아키텍처, 설명 가능 AI(XAI) 등에서의 AI 잠재력을 강조하여 자원 사용 최적화 및 에너지 소비 감소에 기여한다.
• 생성형 AI 및 대규모 언어 모델(LLM)의 환경 비용을 탐구하며, 단일 학습 런 동안 최대 284톤의 CO2를 배출할 수 있으며, 이를 지속 가능하게 통합할 수 있는 전략을 제안한다.

제안 방법

• 인코딩, 전달, 재생, VQA의 네 핵심 구성 요소로 분류된 59개의 AI 기반 에너지 인지 영상 스트리밍 솔루션에 대한 체계적 서베이를 수행한다.
• 강화 학습, 딥 네트워크, 하이브리드 모델 등의 AI 기법을 통합하여 비트레이트 적응, 콘텐츠 캐싱, 네트워크 자원 할당 최적화를 달성한다.
• 에너지 효율적인 영상 스트리밍의 의사결정 과정에서 투명성을 향상시키기 위해 설명 가능 AI(XAI)의 사용을 제안하며, 특히 ABR 및 VQA 시스템에서의 적용에 중점을 둔다.
• AI 모델 자체의 에너지 소비를 분석하고, 분산형 추론을 에지 디바이스에 적용하고 서버리스 컴퓨팅을 활용하여 계산 및 탄소 배출을 줄이기 위한 전략을 제안한다.
• 생성형 AI 및 LLM의 영상 스트리밍에 미치는 영향을 평가하며, 비트레이트 예측, 슈퍼해상도, ABR 적응에 응용되는 방식을 분석하고 고에너지 소비를 정량화한다.
• 콘텐츠 촬영부터 렌더링까지 영상 스트리밍 전 주기의 AI 통합 프레임워크를 제안하여 종단 간 에너지 효율성과 지속 가능성 달성을 지원한다.

Figure 1. Survey structure.

실험 결과

연구 질문

• RQ1 에너지 효율성을 높이기 위해 AI를 영상 스트리밍 전 주기의 모든 단계에 체계적으로 적용하는 방법은 무엇이며, QoE를 훼손하지 않도록 할 수 있는가?
• RQ2 에너지 인지 영상 인코딩, 전달, 재생, 품질 평가를 가능하게 하는 주요 AI 기법과 모델은 무엇인가?
• RQ3 최근의 생성형 AI 및 LLM은 영상 스트리밍 시스템의 에너지 소비에 어떤 영향을 미치며, 그 환경 비용을 완화할 수 있는 전략은 무엇인가?
• RQ4 설명 가능 AI(XAI)는 에너지 효율적인 영상 스트리밍 의사결정의 투명성과 제어력을 어떻게 향상시킬 수 있는가?
• RQ5 에지 AI, 서버리스 컴퓨팅, 네트워크 내 지능 등 시스템 수준의 혁신적인 아키텍처는 영상 스트리밍의 탄소 발자국을 어떻게 줄일 수 있는가?

주요 결과

• 인코딩, 전달, 재생 단계에서의 AI 기반 최적화는 영상 스트리밍 시스템의 에너지 소비와 CO2 배출을 크게 줄일 수 있다.
• 생성형 AI 및 LLM은 영상 품질 향상과 네트워크 예측에 강력한 역할을 하지만, 매우 에너지 집약적이며, 단일 LLM 학습 런 동안 최대 284톤의 CO2를 배출할 수 있다.
• 설명 가능 AI(XAI) 기법은 ABR 및 VQA 시스템에서 에너지 절약 의사결정의 모델 투명성을 향상시켜 이해와 제어를 개선한다.
• 에지 디바이스에서의 분산형 AI 추론은 지연 시간과 에너지 소비를 줄이며, 실시간 영상 적응 및 클라이언트 측 처리에 특히 유리하다.
• AI와 함께 서버리스 컴퓨팅을 통합하면 동적 영상 워크로드를 관리하는 데 있어 확장성 있고 비용 효율적인 접근 방식을 제공하며 환경 영향도 낮춘다.
• 인코딩, 전달, 재생, VQA를 아우르는 종합적이고 전 주기적인 AI 통합은 지속 가능하고 에너지 효율적인 영상 스트리밍을 향한 가장 효과적인 길이다.

Figure 2. (a) Systematic literature review methodology, and (b) distribution of surveyed articles based on video streaming lifecycle segments across different years.