[논문 리뷰] Which Adaptation Logic? An Objective and Subjective Performance Evaluation of HTTP-based Adaptive Media Streaming Systems

Christian Timmerer, Matteo Maiero외 1명|arXiv (Cornell University)|2016. 06. 01.

Image and Video Quality Assessment참고 문헌 3인용 수 23

한 줄 요약

이 논문은 제어된 목적적 테스트와 실제 세계의 주관적 커뮤니티 기반 캐릭터라이징을 통해 HTTP 기반의 적응형 스트리밍 적응 논리 10종을 평가한다. 품질 경험(QoE) 측면에서 RBB(Rate-Based Buffer) 알고리즘을 최고 성능으로 확인하였으며, 영상 품질과 재버퍼링 감소 측면에서 다른 알고리즘들을 능가하여, 구현 및 향후 알고리즘 평가의 기준이 된다.

ABSTRACT

Multimedia content delivery over the Internet is predominantly using the Hypertext Transfer Protocol (HTTP) as its primary protocol and multiple proprietary solutions exits. The MPEG standard Dynamic Adaptive Streaming over HTTP (DASH) provides an interoperable solution and in recent years various adaptation logics/algorithms have been proposed. However, to the best of our knowledge, there is no comprehensive evaluation of the various logics/algorithms. Therefore, this paper provides a comprehensive evaluation of ten different adaptation logics/algorithms, which have been proposed in the past years. The evaluation is done both objectively and subjectively. The former is using a predefined bandwidth trajectory within a controlled environment and the latter is done in a real-world environment adopting crowdsourcing. The results shall provide insights about which strategy can be adopted in actual deployment scenarios. Additionally, the evaluation methodology described in this paper can be used to evaluate any other/new adaptation logic and to compare it directly with the results reported here.

연구 동기 및 목표

• HTTP 기반 적응형 스트리밍 시스템에서 사용되는 10종의 다른 적응 논리를 포괄적이고 편향 없는 평가를 제공하기 위해.
• 제어된 목적적 지표와 커뮤니티 기반 주관적 사용자 인식을 통한 캐릭터라이징을 통해 이러한 논리들의 성능을 비교하기 위해.
• 품질 경험(QoE)과 시스템 효율성에 기반해 실질적 구현에 가장 효과적인 적응 논리를 특정하기 위해.
• 향후 새로운 또는 기존의 적응 논리를 보다 공정하게 비교할 수 있도록 직접 비교가 가능한 표준화된 평가 방법론을 수립하기 위해.

제안 방법

• 연구는 실험실 환경에서 정의된 제어된 대역폭 경로를 사용하여 영상 품질 및 재버퍼링과 같은 핵심 성능 지표를 측정함으로써 목적적 평가를 수행한다.
• 주관적 평가는 실제 세계 환경에서 커뮤니티 기반 캐릭터라이징을 통해 사용자들이 영상 품질과 전반적인 경험에 대해 평가한 결과를 수집함으로써 수행된다.
• 버퍼 기반에서부터 비트레이트 기반, 하이브리드 접근 방식에 이르기까지 10종의 다른 적응 논리를 동일한 조건에서 구현하고 테스트한다.
• 성능 지표로는 평균 영상 품질(비트레이트 기준), 재버퍼링 이벤트 수, 사용자 설문조사에서의 평균 평가 점수(MOS)가 포함된다.
• 평가 프레임워크는 향후 알고리즘이 동일한 테스트 조건과 결과에 기반해 벤치마킹될 수 있도록 확장 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 재버퍼링 최소화와 함께 영상 품질이 가장 높은 품질 경험(QoE)을 제공하는 적응 논리는 무엇인가?
• RQ2 실제 스트리밍 환경에서 목적적 성능 지표와 주관적 사용자 인식 간의 상관관계는 어떻게 되는가?
• RQ3 다양한 네트워크 조건과 사용자 환경에서 가장 일관된 성능을 보이는 적응 논리는 무엇인가?
• RQ4 새로운 또는 기존의 적응 논리를 공정하게 비교할 수 있도록 표준화된 평가 방법론을 수립할 수 있는가?

주요 결과

• 주관적 테스트에서 RBB(Rate-Based Buffer) 적응 논리가 가장 높은 평균 평가 점수(MOS)를 기록하여 뛰어난 인식된 영상 품질과 사용자 만족도를 보였다.
• RBB는 모든 테스트 네트워크 조건에서 가장 낮은 재버퍼링 비율과 가장 높은 평균 영상 비트레이트를 보였다.
• 목적적 평가 결과 RBB는 재버퍼링을 최소화하면서도 가장 높은 영상 품질을 유지했으며, BBA 및 BOLA와 같은 다른 논리들보다 뛰어난 성능을 보였다.
• 주관적 결과에서 높은 평균 비트레이트와 높은 MOS 간의 강한 상관관계가 확인되어 비트레이트가 QoE에 중요한 영향을 미친다는 것을 검증하였다.
• 본 연구의 평가 방법론은 적응 논리 간 직접적이고 공정한 비교를 가능하게 하였으며, 향후 연구를 위한 기준 결과로 기능하였다.