[論文レビュー] Orthogonality Deficiency Compensation for Improved Frequency Selective Image Extrapolation

Jürgen Seiler, Katrin Meisinger+1 more|arXiv (Cornell University)|Jul 20, 2022

Image and Signal Denoising Methods被引用数 6

ひとこと要約

本論文は、周波数選択的画像補外の性能を向上させるために、直交性欠損補正技術を提案する。非直交基底関数によって引き起こされるアーティファクトを軽減することで、PSNRと視覚的品質の両方を向上させる。この手法は、非直交基底関数に信号成分を繰り返し射影しながら、その直交性の欠如を補正する。これにより、従来手法と比較して最大2 dBのPSNR向上と視覚的アーティファクトの低減を達成する。

ABSTRACT

This paper describes a very efficient algorithm for image signal extrapolation. It can be used for various applications in image and video communication, e.g. the concealment of data corrupted by transmission errors or prediction in video coding. The extrapolation is performed on a limited number of known samples and extends the signal beyond these samples. Therefore the signal from the known samples is iteratively projected onto different basis functions in order to generate a model of the signal. As the basis functions are not orthogonal with respect to the area of the known samples we propose a new extension, the orthogonality deficiency compensation, to cope with the non-orthogonality. Using this extension, very good extrapolation results for structured as well as for smooth areas are achievable. This algorithm improves PSNR up to 2 dB and gives a better visual quality for concealment of block losses compared to extrapolation algorithms existent so far.

研究の動機と目的

• 非直交基底関数による周波数選択的画像補外における信号アーティファクトの問題に対処すること。
• エラー隠蔽および予測における画像補外において、客観的指標（PSNR）と主観的指標（視覚的品質）の両方の性能を向上させること。
• リアルタイムの画像および動画通信に適した、計算効率が高く品質の高い補外手法を開発すること。
• 最適な反復回数に依存しなくなるように、PSNRの飽和を実現し、過剰または不十分な反復による性能低下を回避すること。

提案手法

• アルゴリズムは、2次元DFT基底関数の重み付き線形結合に基づくパラメトリックモデルを用い、係数を反復的に推定する。
• 既知のサポート領域における基底関数の非直交性を補正する直交性欠損補正を導入し、収束性と精度を向上させる。
• 残差誤差は、欠損領域にバイナリ関数を用いてマスクされ、誤差評価が既知のサンプルに制限される。
• 1画像ブロックあたり2回のFFTを実行する（周波数ドメインへの変換と戻りの変換）ことで、計算を効率化する。
• 反復的射影は、残差エネルギーに基づいて基底関数を選択し、既知領域における誤差を最小化するように係数を更新する。
• アルゴリズムはDFT基底関数を用いて周波数ドメインで実行され、単調でノイズの多い領域やエッジ領域の補外に適している。

実験結果

リサーチクエスチョン

• RQ1 周波数選択的補外における基底関数の非直交性をどのように補正すれば、信号再構成性能が向上するか？
• RQ2 直交性欠損補正は、画像補外におけるPSNRと視覚的品質にどのような影響を与えるか？
• RQ3 提案手法は、従来のアルゴリズムと比較して反復回数にあまり依存しない安定した性能を達成できるか？
• RQ4 補正技術は、特に鋭いエッジや構造的領域でアーティファクト低減にどのように寄与するか？

主な発見

• 提案手法は、元の周波数選択的補外手法と比較して、PSNRを最大2 dB向上させる。
• 直交性欠損補正により、特に鋭いコーナーや構造的領域で目立つアーティファクトが低減され、主観的画像品質が向上する。
• 反復回数の増加に伴いPSNRが飽和するため、元の手法がピークに達した後、性能が低下するのを回避できる。
• 'Lena'および'Peppers'画像では、最適な結果を得るのに、補正済み手法はそれぞれ250回および1000回の反復が必要だったが、元の手法は20回および50回で十分だった。
• 計算コストは高くなるが、すべてのテスト画像において、逐次的手法、DCTベース手法、凸集合射影手法を上回る優れた結果を達成する。
• 滑らかで、ノイズが多く、構造が複雑な領域（例：'Baboon'）を含む多様な画像タイプにおいても、高い性能を維持する。