[論文レビュー] Discrete cosine transform LSQR and GMRES methods for multidimensional ill-posed problems

M. El Guide, Alaa El Ichi+1 more|arXiv (Cornell University)|Mar 22, 2021

Tensor decomposition and applications参考文献 23被引用数 5

ひとこと要約

本稿では、多次元の不適切に設定されたテンソル問題、特にカラーおよび動画画像の復元において、解法を高速化するための、離散コサイン変換（DCT）を用いた、正則化されたテンソルクリロフ部分空間法—DC-GMRES、DC-Golub-Kahan（DC-GK）、DC-LSQR—を提案する。高速コサイン積とテンソルクリロフ反復を活用することで、高い精度と効率性を達成しており、数値実験では、$10^{-3}$および$10^{-2}$のノイズレベルを持つRGB画像において、DC-LSQRが優れた速度と競争力のある精度を示した。

ABSTRACT

In the present work, we propose new tensor Krylov subspace method for ill posed linear tensor problems such as in color or video image restoration. Those methods are based on the tensor-tensor discrete cosine transform that gives fast tensor-tensor product computations. In particular, we will focus on the tensor discrete cosine versions of GMRES, Golub-Kahan bidiagonalisation and LSQR methods. The presented numerical tests show that the methods are very fast and give good accuracies when solving some linear tensor ill-posed problems.

研究の動機と目的

• 画像および動画の復元に生じる大規模な多次元の不適切に設定されたテンソル問題に対する効率的な反復解法の開発。
• テンソル-テンソル離散コサイン変換（DCT）を活用し、テンソル積の高速計算を可能にすることで、計算複雑度を低減。
• 古典的なクリロフ法—GMRES、Golub-Kahan、LSQR—を、コサイン積を用いたテンソル形式に適応させ、マルチチャネルデータにおける性能向上を図る。
• Tikhonov正則化と一般化交差検証（GCV）を組み合わせることで、ノイズが存在する状況でも安定した解を得る。
• 実世界のカラー画像復元タスクにおいて、異なるノイズレベルを想定した、提案手法の有効性を実証。

提案手法

• 本稿では、DCTを用いて高速かつ構造的なテンソル演算を可能にするテンソル離散コサイン積（c積）を導入し、テンソル-テンソル積の効率的計算を実現。
• c積を用いて、GMRES、Golub-Kahan双対化、LSQRのテンソル版を定式化し、3次テンソル上でのクリロフ部分空間反復を可能にした。
• 大規模なテンソル問題を低次元のクリロフ部分空間に射影し、各ステップで小規模な正則化最小二乗問題を解く。
• 各反復で、射影された問題にTikhonov正則化を適用し、正則化パラメータは一般化交差検証（GCV）法により推定。
• 高速DCTアルゴリズムの使用により、c積の計算コストを1回あたりO(n log n)にまで低減し、全体の解法プロセスを顕著に高速化。
• 再帰的適用により、高次元テンソルへの拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 離散コサイン変換（DCT）に基づくテンソルクリロフ部分空間法は、標準的手法に比べ、多次元の不適切に設定されたテンソル問題を解く際に優れた性能を示せるか？
• RQ2 DCTに基づくテンソル積の使用は、画像復元のための反復解法の計算効率と精度にどのように影響を与えるか？
• RQ3 ノイズレベルが異なる条件下で、DC-GMRES、DC-GK、DC-LSQRの相対的な性能（速度、精度、頑健性）はいかほどか？
• RQ4 Tikhonov正則化とGCVの組み合わせは、c積を用いたテンソルクリロフ法の文脈で、安定的かつ正確な解をもたらすか？
• RQ5 カラー画像復元タスクにおいて、画像サイズとノイズ強度の増加に伴い、提案手法はどのようにスケーリングするか？

主な発見

• $\tt papav256$画像（ノイズレベル$10^{-3}$）では、DC-LSQRが1.23秒の最短CPU時間を達成した一方、DC-GKは23.9 dBの最高SNRを記録した。
• ノイズレベル$10^{-2}$では、DC-LSQRがSNR（20.2 dB）とCPU時間（1.23秒）の両面で優れたバランスを示し、DC-GMRES(10)およびDC-GKを上回った。
• より大きな$\tt cat1024$画像（ノイズレベル$10^{-3}$）では、DC-LSQRが最高のSNR（18.87 dB）と最短のCPU時間（19.45秒）を達成し、DC-GMRES(10)およびDC-GKを上回った。
• 同じ画像でノイズレベル$10^{-2}$の場合、DC-LSQRは高いノイズにもかかわらず、SNR 15.75 dB、CPU時間 26.43秒の最良の性能を維持した。
• DC-LSQR法は反復回数が少ない（$\tt cat1024$ではk_opt = 15）にもかかわらず、異なるノイズレベルおよび画像サイズにおいて一貫した性能を示した。
• 高速DCTに基づくc積の使用により、テンソル演算の計算コストが低減され、特に大規模問題において、標準的手法に比べ顕著な高速化が達成された。