[논문 리뷰] Discrete cosine transform LSQR and GMRES methods for multidimensional ill-posed problems

M. El Guide, Alaa El Ichi외 1명|arXiv (Cornell University)|2021. 03. 22.

Tensor decomposition and applications참고 문헌 23인용 수 5

한 줄 요약

이 논문은 다차원 불안정 문제를 해결하기 위해 이산余弦변환(DCT)을 사용한 빠르고 정규화된 텐서 크릴로프 부분공간 방법—DC-GMRES, DC-Golub-Kahan(이하 DC-GK), DC-LSQR—을 제안한다. 특히 색상 및 비디오 이미지 복원에 응용된다. 빠른余弦곱과 텐서 크릴로프 반복을 활용함으로써 높은 정확도와 효율성을 달성하였으며, 수치 실험에서 RGB 이미지에 대해 $10^{-3}$ 및 $10^{-2}$의 노이즈 수준에서 DC-LSQR가 뛰어난 속도와 경쟁 가능한 정확도를 보였다.

ABSTRACT

In the present work, we propose new tensor Krylov subspace method for ill posed linear tensor problems such as in color or video image restoration. Those methods are based on the tensor-tensor discrete cosine transform that gives fast tensor-tensor product computations. In particular, we will focus on the tensor discrete cosine versions of GMRES, Golub-Kahan bidiagonalisation and LSQR methods. The presented numerical tests show that the methods are very fast and give good accuracies when solving some linear tensor ill-posed problems.

연구 동기 및 목표

• 이미지 및 비디오 복원에서 발생하는 대규모 다차원 불안정 텐서 문제를 위한 효율적인 반복 해법 개발.
• 텐서-텐서 이산여측변환(DCT)을 활용해 빠른 텐서 곱 연산을 가능하게 하여 계산 복잡도를 감소.
• 클래식한 크릴로프 방법—GMRES, 골루브-카한, LSQR—을 여측곱을 사용한 텐서 형식으로 변형하여 다중 채널 데이터에서의 성능 향상.
• 텐서 크릴로프 방법에 Tikhonov 정규화와 일반화된 교차검증(GCV)을 결합하여 노이즈 존재 상황에서도 안정적인 해를 확보.
• 실세계 색상 이미지 복원 작업에서 다양한 노이즈 수준에서 제안된 방법의 효과성 입증.

제안 방법

• 논문은 DCT를 활용한 빠른 구조적 텐서 연산을 가능하게 하는 텐서 이산여측곱(c-곱)을 도입하여, 텐서-텐서 곱 연산을 효율적으로 계산할 수 있도록 한다.
• c-곱을 사용해 GMRES, 골루브-카한 이중대각화, LSQR의 텐서 형태를 수립함으로써, 제3차 텐서에 대한 크릴로프 부분공간 반복을 가능하게 한다.
• 대규모 텐서 문제를 저차원 크릴로프 부분공간에 투영하고, 각 단계에서 소규모 정규화된 최소제곱 문제를 해결한다.
• 각 반복 단계에서 투영된 문제에 Tikhonov 정규화를 적용하며, 정규화 계수는 일반화된 교차검증(GCV) 방법을 통해 추정한다.
• 빠른 DCT 알고리즘의 사용으로 c-곱 연산의 비용을 O(n log n)으로 감소시켜 전체 해법 과정을 크게 가속화한다.
• 재귀적 적용을 통해 고차원 텐서로의 확장도 가능하다.

실험 결과

연구 질문

• RQ1 이산여측변환 기반의 텐서 크릴로프 부분공간 방법이 다차원 불안정 텐서 문제를 해결하는 데 있어 기존 표준 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 DCT 기반 텐서 곱의 사용이 이미지 복원을 위한 반복 해법의 계산 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 노이즈 수준이 다른 조건에서 DC-GMRES, DC-GK, DC-LSQR의 상대적 성능은 속도, 정확도, 내성 면에서 어떻게 다른가?
• RQ4 Tikhonov 정규화와 GCV의 조합이 c-곱을 사용한 텐서 크릴로프 방법의 맥락에서 안정적이고 정확한 해를 도출할 수 있는가?
• RQ5 색상 이미지 복원 작업에서 이미지 크기와 노이즈 강도가 증가함에 따라 제안된 방법의 스케일링 성능은 어떠한가?

주요 결과

• 노이즈 수준 $10^{-3}$인 $\tt papav256$ 이미지에서 DC-LSQR는 1.23초의 최저 CPU 시간을 기록했으며, DC-GK는 23.9 dB의 최고 SNR를 달성했다.
• 노이즈 수준 $10^{-2}$일 경우, DC-LSQR는 다시 한번 SNR(20.2 dB)와 CPU 시간(1.23초)의 최적 균형을 보였으며, DC-GMRES(10)과 DC-GK 모두를 성능 면에서 앞섰다.
• $\tt cat1024$ 이미지의 경우 노이즈 수준 $10^{-3}$일 때, DC-LSQR는 최고의 SNR(18.87 dB)와 최저 CPU 시간(19.45초)을 기록했으며, DC-GMRES(10)과 DC-GK를 모두 압도했다.
• 동일한 이미지에서 노이즈 수준 $10^{-2}$일 경우, 더 높은 노이즈에도 불구하고 DC-LSQR는 SNR 15.75 dB와 CPU 시간 26.43초로 최고 성능 유지를 보였다.
• DC-LSQR는 더 적은 반복 횟수(k_opt = 15, $\tt cat1024$ 기준)로도 일관된 성능을 보였으며, 다양한 노이즈 수준과 이미지 크기에서 안정적인 성능을 유지했다.
• 빠른 DCT 기반 c-곱의 사용으로 텐서 연산의 계산 비용이 감소하여, 특히 대규모 문제에서 기존 방법 대비 빠른 성능 향상을 이룩했다.