[논문 리뷰] Regression-based Intra-prediction for Image and Video Coding

Carlo Noel Ochotorena, Yukihiko Yamashita|arXiv (Cornell University)|2016. 05. 12.

Video Coding and Compression Technologies참고 문헌 23인용 수 3

한 줄 요약

이 논문은 자연 이미지 블록에 대해 정규화된 회귀를 사용하여 HEVC 스타일 예측 모드를 반복적으로 개선하는 회귀 기반 내부 예측(RIP) 방법을 제안한다. 이 방법은 모든 블록 크기와 조건에서 예측 정확도를 크게 향상시키며, 특히 저비트레이트 및 최악의 상황에서 뛰어난 성능을 보이며, 오프라인 학습 후 단일 행렬 곱셈으로 encoding 시 낮은 계산 복잡도를 유지한다.

ABSTRACT

By utilizing previously known areas in an image, intra-prediction techniques can find a good estimate of the current block. This allows the encoder to store only the error between the original block and the generated estimate, thus leading to an improvement in coding efficiency. Standards such as AVC and HEVC describe expert-designed prediction modes operating in certain angular orientations alongside separate DC and planar prediction modes. Being designed predictors, while these techniques have been demonstrated to perform well in image and video coding applications, they do not necessarily fully utilize natural image structures. In this paper, we describe a novel system for developing predictors derived from natural image blocks. The proposed algorithm is seeded with designed predictors (e.g. HEVC-style prediction) and allowed to iteratively refine these predictors through regularized regression. The resulting prediction models show significant improvements in estimation quality over their designed counterparts across all conditions while maintaining reasonable computational complexity. We also demonstrate how the proposed algorithm handles the worst-case scenario of intra-prediction with no error reporting.

연구 동기 및 목표

• HEVC 및 AVC에서 수작업으로 설계된 내부 예측 모드의 한계를 해결하여 자연 이미지의 구조를 보다 효과적으로 활용하지 못하는 문제를 해결한다.
• 실제 영상 데이터를 기반으로 기준 픽셀에서 예측 블록으로의 선형 매핑을 학습하여 예측 정확도를 향상시킨다.
• 오차 보고 없이 오직 왼쪽 상단 블록만 인코딩된 최악의 조건에서도 잘 작동하는 강건한 내부 예측 시스템을 개발한다.
• 오프라인 학습 후 내부 예측을 단일 행렬 곱셈으로 간소화하여 인코딩 시 낮은 계산 복잡도를 유지한다.
• 이미지 코딩에서 내부 예측 성능을 분리하여 비디오 코딩으로의 확장성을 입증한다.

제안 방법

• 기존 HEVC 스타일 예측 모드(직선, 평면, 33개의 각도 모드)를 초기 예측자로 설정한다.
• k-means 클러스터링을 모티프로 한 반복적 개선 프로세스를 적용: 각 훈련 블록을 가장 우수한 예측자에 할당한 후, 각 클러스터에 대해 새로운 선형 회귀 모델을 재학습한다.
• 과적합을 방지하고 다양한 이미지 구조에 대한 일반화 능력을 향상시키기 위해 정규화된 회귀(예: 릿지 회귀)를 적용한다.
• 그룹별 특화된 회귀 행렬을 스택하여 전역 예측 행렬을 구성함으로써, 단일 행렬 곱셈을 통해 한 번에 예측을 수행할 수 있도록 한다.
• 최적화된 선형 대수 라이브러리(예: BLAS)를 활용하여 인코딩 시 효율적인 추론을 보장한다.
• 오직 왼쪽 상단 블록과 RIP 추정치만을 사용하여 전체 이미지를 복원함으로써 최악의 상황 내부 코딩을 가능하게 하며, 잔차 오차는 오직 한 번만 보고된다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 HEVC 스타일 모드에 비해 데이터 기반의 회귀 접근 방식이 내부 예측 정확도를 크게 향상시킬 수 있는가?
• RQ2 오차 보고 없이 최소한의 사전 정보만 있는 최악의 내부 코딩 조건에서 제안된 방법은 어떻게 성능을 내는가?
• RQ3 반복적인 회귀 모델 개선이 다양한 이미지 콘텐츠와 블록 크기에서 예측 품질을 얼마나 향상시킬 수 있는가?
• RQ4 개선된 정확도에도 불구하고 RIP 방법은 인코딩 시 낮은 계산 복잡도를 유지하는가?
• RQ5 학습된 예측자는 다양한 이미지 유형과 블록 치수(예: 4×4에서 32×32까지) 간에 효과적으로 일반화되는가?

주요 결과

• 최상의 조건에서 레이나, 페퍼스, 만드리르 이미지에 대해 각각 5.747 dB, 6.693 dB, 2.432 dB의 평균 예측 정확도 향상을 달성한다.
• 32×32 블록에서는 RIP가 HEVC 스타일 예측자보다 강력한 정량적 성능을 유지하지만, 기준 픽셀과 예측 픽셀 간의 차원 차이가 크기 때문에 주관적 평가에서 노이즈 증가가 관찰된다.
• 오직 왼쪽 상단 블록만 인코딩되고 나머지 블록은 오차 보고 없이 예측되는 최악의 내부 코딩 상황에서 RIP는 안정적이고 저복잡도의 재구성 결과를 생성하여 잔차 인코딩을 효율적으로 가능하게 한다.
• 내부 코딩 중 비율-왜곡 최적화의 필요성을 줄여주며, 순차적이고 오차 보고 없이 작동하는 재구성 파이프라인을 가능하게 한다.
• 최종 예측 단계는 사전 학습된 회귀 행렬 덕분에 블록당 단일 행렬 곱셈만으로 효율적으로 수행된다.
• 핵심 내부 예측 메커니즘이 시간 예측과 독립적이며 오직 공간 상관관계에 의존하므로, 비디오 코딩으로의 확장이 가능하다.