[논문 리뷰] DeepTensor: Low-Rank Tensor Decomposition with Deep Network Priors

Vishwanath Saragadam, Randall Balestriero외 2명|arXiv (Cornell University)|2022. 04. 07.

Tensor decomposition and applications인용 수 7

한 줄 요약

DeepTensor는 SVD 및 PCA와 같은 전통적 방법보다 뛰어난 성능을 내는 자기지도 학습 기반의 딥러닝 프레임워크를 제안한다. 이는 깊이 있는 생성 모델(DN)의 암묵적 정규화를 활용하여 낮은 질서의 텐서 및 행렬 분해를 수행하며, 비정규 분포 노이즈와 낮은 신호 대 노이즈 비율 환경에서도 강건한 성능을 발휘한다. 포isson 노이즈 제거에서는 최대 6 dB의 SNR 향상을 달성했고, 3D 텐서 분해에서는 3D 컨볼루션 네트워크 대비 60배 빠른 처리 속도를 제공한다.

ABSTRACT

DeepTensor is a computationally efficient framework for low-rank decomposition of matrices and tensors using deep generative networks. We decompose a tensor as the product of low-rank tensor factors (e.g., a matrix as the outer product of two vectors), where each low-rank tensor is generated by a deep network (DN) that is trained in a self-supervised manner to minimize the mean-squared approximation error. Our key observation is that the implicit regularization inherent in DNs enables them to capture nonlinear signal structures (e.g., manifolds) that are out of the reach of classical linear methods like the singular value decomposition (SVD) and principal component analysis (PCA). Furthermore, in contrast to the SVD and PCA, whose performance deteriorates when the tensor's entries deviate from additive white Gaussian noise, we demonstrate that the performance of DeepTensor is robust to a wide range of distributions. We validate that DeepTensor is a robust and computationally efficient drop-in replacement for the SVD, PCA, nonnegative matrix factorization (NMF), and similar decompositions by exploring a range of real-world applications, including hyperspectral image denoising, 3D MRI tomography, and image classification. In particular, DeepTensor offers a 6dB signal-to-noise ratio improvement over standard denoising methods for signals corrupted by Poisson noise and learns to decompose 3D tensors 60 times faster than a single DN equipped with 3D convolutions.

연구 동기 및 목표

• 기존의 선형 방법인 SVD 및 PCA가 실패하는 비정규 노이즈 및 신호 분포에 강건한 낮은 질서의 분해 프레임워크를 개발하는 것.
• 깊이 있는 생성 모델의 암묵적 인도적 편향을 행렬 및 텐서 분해의 강력한 데이터 기반 정규화로 활용하는 것.
• 실제 응용 분야에서 SVD, PCA, NMF 등의 표준 분해 기법들에 대한 계산적으로 효율적인, 즉각 적용 가능한 대체 기법을 만드는 것.
• 더 정확한 저차원 신호 표현을 학습함으로써 이미지 분류 및 노이즈 제거와 같은 후행 작업의 성능을 향상시키는 것.
• 특히 3D 텐서 분해에서 엔드 투 엔드 3D 컨볼루션 네트워크 대비 확장성과 속도 우수성을 입증하는 것.

제안 방법

• 입력 텐서와 재구성된 텐서 간의 평균 제곱오차(MSE)를 최소화하도록 자기지도 학습을 통해 훈련된 깊이 있는 생성 모델(DN)의 출력으로 낮은 질서의 텐서 요소를 표현한다.
• 전체 3D 컨볼루션의 계산 비용을 피하기 위해 1D 또는 2D 컨볼루션 필터를 사용하는 분리형 아키텍처를 도입하여 효율적인 3D 텐서 분해를 가능하게 한다.
• 재구성 결과가 생성된 낮은 질서의 요소들의 곱이 되도록, 역전파 알고리즘과 MSE 손실 함수를 사용해 DNs를 훈련시킨다.
• DN의 아키텍처에서 유도되는 암묵적 정규화를 활용해 선형 방법이 모델링할 수 없는 비선형 신호 구조(예: 다양체)를 포착한다.
• 비음성 제약 조건을 ReLU 또는 소프트플러스 활성화 함수를 통해 통합하여 NMF 응용에 적합하게 하며, 반음성 NMF 및 전체 NMF 변형을 가능하게 한다.
• 두 단계 훈련 프로세스를 적용: 먼저 DN을 자기지도 재구성 목표로 사전 훈련한 후, 특정 분해 작업을 위해 미세조정한다.

(a) Low-rank representation via SVD

실험 결과

연구 질문

• RQ1 깊이 있는 생성 모델이 비정규 노이즈 분포 하에서 낮은 질서의 텐서 분해에 효과적인 사전 조건으로 기능할 수 있는가?
• RQ2 신호 대 노이즈 비율이 낮거나 노이즈가 비정규 분포(예: 포isson)일 경우 DeepTensor의 성능이 SVD 및 PCA와 비교해 어떻게 되는가?
• RQ3 DeepTensor는 질서 과대추정에 얼마나 강건한가? 질서 선택에 대한 민감도 측면에서 SVD와 비교해 볼 때 어떤가?
• RQ4 3D 텐서 분해에서 3D 컨볼루션 네트워크 대비 상당한 속도 향상을 달성할 수 있는가?
• RQ5 DN을 사전 조건으로 사용할 경우, 기존의 요소 분해 방법보다 이미지 분류나 노이즈 제거와 같은 후행 작업의 성능이 향상되는가?

주요 결과

• 포isson 노이즈가 첨부된 고분광 영상에 적용했을 때, DeepTensor는 기존의 노이즈 제거 방법 대비 최대 6 dB의 신호 대 노이즈 비율(SNR) 향상을 달성한다.
• 비정규 노이즈가 존재하는 낮은 SNR 환경에서 DeepTensor는 SVD 및 PCA보다 뛰어난 성능을 보이며, 비정규 노이즈 가정 하에서 SVD 및 PCA는 심각하게 성능이 저하된다.
• SVD에 비해 DeepTensor는 질서 과대추정에 훨씬 덜 민감하다: SVD는 질서가 높아질수록 정확도가 떨어지지만, DeepTensor는 넓은 범위의 질서에서 안정적인 성능을 유지한다.
• 3D 텐서 분해에서 DeepTensor는 3D 컨볼루션 네트워크의 단일 모델 대비 60배 빠른 처리 속도를 기록한다. 이는 1D 및 2D 컨볼루션을 사용하는 분리형 아키텍처 덕분이다.
• 음성 스펙트로그램에서 비음성 행렬 분해(NMF)를 수행한 결과, ReLU 활성화 함수를 사용한 DeepTensor는 평균 8.8 dB의 PSNR를 기록했고, 기준 NMF 방법(4.6–4.7 dB)을 뛰어넘었다.
• 이미지 인식에서 얼굴 특징(이겐페이스)을 사용한 실험에서, DeepTensor는 PCA나 ICA보다 더 낮은 노이즈를 가진 주성분을 학습했으며, 선형 SVM 분류기에서 더 높은 정확도를 달성했다.

(b) Low-rank representation via DeepTensor