[논문 리뷰] Optimal Lagrange Multipliers for Dependent Rate Allocation in Video Coding

Ana De Abreu, Gene Cheung외 2명|arXiv (Cornell University)|2016. 03. 19.

Video Coding and Compression Technologies인용 수 6

한 줄 요약

이 논문은 비디오 인코딩에서 단위를 다양한 QP로 인코딩하거나 인코딩하지 않은 채로 디코더에서 보간할 수 있는 종속적인 비율 할당을 위한 최적의 라그랑주 승수를 계산하기 위해 계산 효율적인 동적 프rogram밍 알고리즘을 제안한다. 반복적으로 목표 비트 예산을 약간 아래와 위로 넘는 해를 유도하는 특이한 승수 값을 식별함으로써, 이 방법은 제약 조건이 있는 문제의 최적 해를 확보하며, 단일 뷰 및 다중 뷰 비디오 인코딩 실험에서 HEVC 및 3D-HEVC보다 우수한 성능을 보인다.

ABSTRACT

In a typical video rate allocation problem, the objective is to optimally distribute a source rate budget among a set of (in)dependently coded data units to minimize the total distortion of all units. Conventional Lagrangian approaches convert the lone rate constraint to a linear rate penalty scaled by a multiplier in the objective, resulting in a simpler unconstrained formulation. However, the search for the "optimal" multiplier, one that results in a distortion-minimizing solution among all Lagrangian solutions that satisfy the original rate constraint, remains an elusive open problem in the general setting. To address this problem, we propose a computation-efficient search strategy to identify this optimal multiplier numerically. Specifically, we first formulate a general rate allocation problem where each data unit can be dependently coded at different quantization parameters (QP) using a previous unit as predictor, or left uncoded at the encoder and subsequently interpolated at the decoder using neighboring coded units. After converting the original rate constrained problem to the unconstrained Lagrangian counterpart, we design an efficient dynamic programming (DP) algorithm that finds the optimal Lagrangian solution for a fixed multiplier. Finally, within the DP framework, we iteratively compute neighboring singular multiplier values, each resulting in multiple simultaneously optimal Lagrangian solutions, to drive the rates of the computed Lagrangian solutions towards the bit budget. We terminate when a singular multiplier value results in two Lagrangian solutions with rates below and above the bit budget. In extensive monoview and multiview video coding experiments, we show that our DP algorithm and selection of optimal multipliers on average outperform comparable rate control solutions used in video compression standards such as HEVC that do not skip frames in Y-PSNR.

연구 동기 및 목표

• 의존적 인코딩과 보간 기능이 있는 비디오 인코딩을 위한 일반적인 비율 할당 문제에서 최적의 라그랑주 승수를 찾는 데 열려 있는 문제를 해결하기 위해.
• 연속적인 비율-왜곡 모델에 의존하지 않고도 고정된 비트 예산 하에 최소 왜곡을 유도하는 승수를 수치적으로 효율적으로 식별하기 위한 방법을 개발하기 위해.
• 비디오 및 다중 뷰 인코딩에서 효율적인 해 계산을 위해 최적의 승수 탐색을 동적 프로그래밍 프레임워크에 통합하기 위해.
• 제안된 방법이 HEVC 및 3D-HEVC와 같은 표준 비디오 압축 솔루션보다 더 나은 비트 전송-왜곡 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 각 데이터 유닛이 예측자(예측)를 사용해 다양한 QP로 인코딩되거나 디코더에서 보간을 위해 인코딩되지 않은 채로 남겨질 수 있도록 허용하는 일반적인 비율 할당 문제를 수립한다.
• 승수 λ를 사용하여 제약 조건이 있는 비율 할당 문제를 라그랑주 문제로 변환하며, D(V,q) + λR(V,q)를 최소화한다.
• 임의의 고정된 λ에 대해 최적의 라그랑주 해를 계산하기 위한 효율적인 동적 프로그래밍 알고리즘을 설계한다.
• 다양한 비트율을 가진 다수의 최적 해가 존재하는 특이한 승수 값을 식별하여 목표 비트 예산을 둘러싸는 데 사용한다.
• 이웃하는 특이한 승수 값을 반복적으로 계산하여 λ*를 특정함으로써, 한 해는 비트율 ≤ B이고 다른 해는 비트율 ≥ B를 만족하도록 한다.
• 해당 쌍의 해가 발견되면 알고리즘이 종료되며, 이는 λ*에서의 해가 원래 제약 조건이 있는 문제에 대해 최적임을 증명한다.

실험 결과

연구 질문

• RQ1 의존적 인코딩과 보간 기능이 있는 일반적인 비디오 비율 할당 문제에서 최적의 라그랑주 승수를 어떻게 수치적으로 결정할 수 있는가?
• RQ2 동적 프로그래밍 기반 접근법이 이러한 문제에서 임의의 고정된 승수에 대해 최적의 라그랑주 해를 효율적으로 계산할 수 있는가?
• RQ3 특이한 승수 값과 다양한 비트율을 가진 다수의 최적 해 존재 사이의 관계는 무엇인가?
• RQ4 제안된 방법은 HEVC 및 3D-HEVC와 같은 기존 비디오 압축 표준보다 더 나은 비트 전송-왜곡 성능을 달성하는가?
• RQ5 라그랑주 문제의 최적 해가 원래 제약 조건이 있는 비율 할당 문제의 최적 해가 될 수 있는 조건은 무엇인가?

주요 결과

• 제안된 방법은 비트 예산 제약 조건을 만족하는 모든 타당한 해 중에서 최소 왜곡을 유도하는 최적의 라그랑주 승수 λ*를 성공적으로 식별한다.
• 동적 프로그래밍 알고리즘은 임의의 고정된 승수에 대해 최적의 라그랑주 해를 효율적으로 계산하여 승수 값에 대한 확장 가능한 탐색을 가능하게 한다.
• 특이한 승수 값은 서로 다른 비트율을 가진 다수의 최적 해를 생성하며, 이는 목표 비트 예산을 둘러싸는 데 유용하다.
• 비트율이 예산 이하와 이상이 되는 해가 존재할 경우, 이 방법은 제약 조건이 있는 문제의 최적 해를 보장한다.
• 단일 뷰 및 다중 뷰 비디오 인코딩 실험에서, 제안된 비율 제어 방법은 HEVC 및 3D-HEVC 참조 소프트웨어보다 비트 전송-왜곡 성능이 뛰어나며, 특히 스킵되지 않은 프레임의 Y-PSNR에서 두드러진 성능 향상을 보였다.
• 이론적 분석을 통해 라그랑주 해가 정확히 비트 제약 조건을 만족할 경우, 이는 원래 제약 조건이 있는 문제의 최적 해이기도 하며, 이는 제안된 접근법의 타당성을 입증한다.