[논문 리뷰] Orthogonality Deficiency Compensation for Improved Frequency Selective Image Extrapolation

Jürgen Seiler, Katrin Meisinger외 1명|arXiv (Cornell University)|2022. 07. 20.

Image and Signal Denoising Methods인용 수 6

한 줄 요약

이 논문은 주파수 선택적 이미지 외삽을 향상시키기 위해 수직성 부족 보완 기법을 제안한다. 비수직 기저 함수로 인한 아티팩트를 완화함으로써 PSNR와 시각적 품질을 모두 향상시킨다. 이 방법은 비수직 기저 함수에 대해 신호 성분을 반복적으로 투영하면서 그 수직성 부족을 보완하여 최대 2 dB의 PSNR 향상과 기존 방법에 비해 감소된 시각적 아티팩트를 달성한다.

ABSTRACT

This paper describes a very efficient algorithm for image signal extrapolation. It can be used for various applications in image and video communication, e.g. the concealment of data corrupted by transmission errors or prediction in video coding. The extrapolation is performed on a limited number of known samples and extends the signal beyond these samples. Therefore the signal from the known samples is iteratively projected onto different basis functions in order to generate a model of the signal. As the basis functions are not orthogonal with respect to the area of the known samples we propose a new extension, the orthogonality deficiency compensation, to cope with the non-orthogonality. Using this extension, very good extrapolation results for structured as well as for smooth areas are achievable. This algorithm improves PSNR up to 2 dB and gives a better visual quality for concealment of block losses compared to extrapolation algorithms existent so far.

연구 동기 및 목표

• 비수직 기저 함수로 인한 신호 아티팩트 문제를 주파수 선택적 이미지 외삽에서 해결하기 위해.
• 오차 회복 및 예측을 위한 이미지 외삽에서 객관적(PSNR) 및 주관적(시각적 품질) 성능을 모두 향상시키기 위해.
• 실시간 이미지 및 영상 통신에 적합한 계산 효율성이 높으면서도 높은 품질의 외삽 방법을 개발하기 위해.
• 최적의 반복 횟수에 대한 의존도를 줄이기 위해 PSNR 포화를 가능하게 하여 과도하거나 부족한 반복으로 인한 성능 저하를 방지하기 위해.

제안 방법

• 알고리즘은 2D DFT 기저 함수의 가중 선형 조합 기반의 매개변수 모델을 사용하며, 계수를 반복적으로 추정한다.
• 기저 함수의 비수직성에 기인한 오차를 보완하기 위해 수직성 부족 보완 기법을 도입하여 수렴성과 정확도를 향상시킨다.
• 잔차 오차는 이산 함수를 사용하여 누락 영역에서 마스킹되어, 오차 평가가 알려진 샘플에 국한되도록 보장한다.
• 이 방법은 각 이미지 블록당 두 번의 FFT를 수행한다 — 한 번은 주파수 도메인으로의 진입, 한 번은 복귀 — 이를 통해 효율적인 계산을 가능하게 한다.
• 반복적 투영은 잔차 에너지 기반으로 기저 함수를 선택하며, 계수를 갱신하여 알려진 영역에서 오차를 최소화한다.
• 알고리즘은 DFT 기저 함수를 사용하여 주파수 도메인에서 적용되며, 이는 단조적, 노이즈가 있는, 에지 영역을 외삽하는 데 적합하다.

실험 결과

연구 질문

• RQ1 주파수 선택적 외삽에서 기저 함수의 비수직성은 어떻게 보완할 수 있으며, 이로 인해 신호 재구성 품질이 어떻게 향상될 수 있는가?
• RQ2 수직성 부족 보완 기법은 이미지 외삽에서 PSNR와 시각적 품질에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 기존 알고리즘에 비해 반복 횟수에 덜 민감한 안정적인 성능을 달성할 수 있는가?
• RQ4 보완 기법은 뚜렷한 에지와 구조적 영역에서 아티팩트 감소에 어떻게 기여하는가?

주요 결과

• 제안된 알고리즘은 원래 주파수 선택적 외삽 방법 대비 최대 2 dB의 PSNR 향상을 달성한다.
• 수직성 부족 보완 기법은 특히 뚜렷한 모서리와 구조적 영역에서 눈에 띄는 아티팩트를 감소시켜 더 나은 주관적 이미지 품질을 이끈다.
• 알고리즘은 반복 횟수가 증가함에 따라 PSNR 포화를 달성하여, 원래 방법이 정점에 도달한 후 성능 저하를 보이는 것을 방지한다.
• 'Lena'와 'Peppers' 이미지의 경우, 보완된 방법은 최적 결과를 얻기 위해 각각 250회와 1000회의 반복이 필요했으나, 원래 방법은 각각 20회와 50회였다.
• 더 높은 계산 비용에도 불구하고, 이 방법은 모든 테스트 이미지에서 순차적, DCT 기반, 볼록 집합 투영 알고리즘보다 뛰어난 성능을 보였다.
• 이 방법은 부드러운, 노이즈가 있는, 그리고 'Baboon'과 같은 매우 구조적인 영역을 포함한 다양한 이미지 유형에서 높은 성능을 유지한다.