[논문 리뷰] A General Model for Robust Tensor Factorization with Unknown Noise

Xi’ai Chen, Zhi Han외 5명|arXiv (Cornell University)|2017. 05. 18.

Tensor decomposition and applications참고 문헌 9인용 수 5

한 줄 요약

이 논문은 고차원 시각 데이터에서 알려지지 않은 복잡한 노이즈에 의해 손상된 상황에서도 낮은 질서의 부분공간을 강건하게 복원하기 위해 일반화된 가중치가 부여된 저질서 텐서 분해 방법(GWLRTF)과 혼합 정규분포(MoG) 노이즈 모델을 제안한다. EM 프레임워크 내에서 MoG 모델링을 통합하고 CP 및 Tucker 텐서 분해를 적용함으로써, 공간적 구조를 유지하면서도 이미지 복원, 다중스펙트럼 및 하이퍼스펙트럼 이미지 복원 과정에서 기존의 행렬 기반 및 텐서 기반 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Because of the limitations of matrix factorization, such as losing spatial structure information, the concept of low-rank tensor factorization (LRTF) has been applied for the recovery of a low dimensional subspace from high dimensional visual data. The low-rank tensor recovery is generally achieved by minimizing the loss function between the observed data and the factorization representation. The loss function is designed in various forms under different noise distribution assumptions, like $L_1$ norm for Laplacian distribution and $L_2$ norm for Gaussian distribution. However, they often fail to tackle the real data which are corrupted by the noise with unknown distribution. In this paper, we propose a generalized weighted low-rank tensor factorization method (GWLRTF) integrated with the idea of noise modelling. This procedure treats the target data as high-order tensor directly and models the noise by a Mixture of Gaussians, which is called MoG GWLRTF. The parameters in the model are estimated under the EM framework and through a new developed algorithm of weighted low-rank tensor factorization. We provide two versions of the algorithm with different tensor factorization operations, i.e., CP factorization and Tucker factorization. Extensive experiments indicate the respective advantages of this two versions in different applications and also demonstrate the effectiveness of MoG GWLRTF compared with other competing methods.

연구 동기 및 목표

• 고차원 시각 데이터를 처리할 때 전통적인 행렬 분해 방법이 공간적 구조를 상실하는 데서 비롯되는 한계를 해결한다.
• 기존의 낮은 질서 텐서 분해 방법이 알려지지 않은 또는 복잡한 노이즈 분포 하에서 떨어지는 성능을 개선한다.
• 이질적인 손상이 발생하는 실제 데이터에서 강건성을 향상시키기 위해 노이즈를 혼합 정규분포(MoG)로 모델링하는 통합 프레임워크를 개발한다.
• CP 및 Tucker 텐서 분해에 모두 적용 가능한 일반화된 가중치가 부여된 저질서 텐서 분해(GWLRTF) 방법을 제안한다.
• 이미지 복원, 다중스펙트럼 및 하이퍼스펙트럼 이미지 복원과 같은 응용 분야에서 노이즈가 있는 고차원 텐서로부터 저차원 부분공간을 효과적으로 복구할 수 있도록 한다.

제안 방법

• 데이터를 매트리시제이션 없이 고차원 텐서로 간주하는 일반화된 가중치가 부여된 저질서 텐서 분해(GWLRTF) 모델을 수립하여 공간적 구조를 유지한다.
• 알려지지 않은 노이즈 분포를 표현하기 위해 혼합 정규분포(MoG) 모델을 통합하여 복잡한 비정규 노이즈에 대한 강건성을 확보한다.
• MoG 파ameters와 저질서 텐서 요소를 동시에 추정하기 위해 EM 기반 알고리즘을 개발하여 노이즈 모델링 및 분해 정확도를 향상시킨다.
• 두 가지 변형을 설계한다: CANDECOMP/PARAFAC 분해를 사용하는 MoG GWLRTF-CP와 Tucker 분해를 사용하는 MoG GWLRTF-Tucker로, 각각 다른 데이터 특성에 최적화되어 있다.
• 노이즈 조건 하에서의 저질서 근사화를 향상시키기 위해 최적화 과정에서 가중 핵심 노름 최소화 기법을 적용한다.
• 비볼록 하위문제를 효율적으로 해결하기 위해 EM 프레임워크 내에서 교대 최적화를 사용하여 수렴성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 통합된 텐서 분해 프레임워크는 고차원 시각 데이터에서 알려지지 않은 노이즈 분포를 효과적으로 다룰 수 있는가?
• RQ2 MoG 기반 노이즈 모델링은 기존의 L1 또는 L2 손실 함수에 비해 텐서 복원에서 어떤 방식으로 강건성을 향상시키는가?
• RQ3 다양한 이미지 복원 응용 분야에서 CP 기반과 Tucker 기반 GWLRTF의 상대적 강점은 무엇인가?
• RQ4 대규모이고 복잡한 노이즈가 존재하는 상황에서 제안된 방법이 구조적 정보를 얼마나 잘 유지하고 세부 사항을 복원할 수 있는가?
• RQ5 기존 방법들과 달리, 기존 방법들이 해당 밴드를 기각해야 하는 경우에 비해, 이 방법은 심하게 손상된 밴드를 포함한 하이퍼스펙트럼 및 다중스펙트럼 이미지를 복원할 수 있는가?

주요 결과

• MoG GWLRTF-CP 방법은 다중스펙트럼 이미지 복원에서 특히 밴드별 스펙트럼 특성을 잘 유지하는 데서 MoG GWLRTF-Tucker를 능가한다.
• MoG GWLRTF-CP와 MoG GWLRTF-Tucker 모두 다중스펙트럼 이미지 복원 과제에서 경쟁 방법들보다 높은 PSNR, 낮은 RSE 및 더 나은 FSIM 값을 달성한다.
• MoG GWLRTF-CP 방법은 서로 다른 스펙트럼 반응을 보이는 31개의 모든 밴드를 성공적으로 복원하여, 기존의 행렬 기반 MoG LRMF에서 관찰되는 밴드 유사성 문제를 피한다.
• 실제 하이퍼스펙트럼 이미지 복원 과정에서 MoG GWLRTF-CP와 MoG GWLRTF-Tucker는 HaLRTC, LRTA, PARAFAC, MSI DL 및 CWM LRTF보다 심하게 오염된 밴드에서 뚜렷한 성능 우위를 보인다.
• 제안된 방법은 구조적 충실도와 스펙트럼 일관성을 유지하여 다양한 데이터 유형에서 시각적 품질과 정량적 지표 모두에서 뛰어난 성능을 보인다.
• MoG GWLRTF-Tucker 방법은 요소 행렬 간의 상호작용을 더 잘 제어하여 조밀하고 구조화된 데이터에 더 적합하며, MoG GWLRTF-CP는 희박한 압축 작업에서 뛰어난 성능을 발휘한다.