[논문 리뷰] Non-convex Penalty for Tensor Completion and Robust PCA.

Tao Li, Jinwen Ma|arXiv (Cornell University)|2019. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 ℓ₁-노름에서 유래하는 편향을 줄이기 위해 오목성을 도입한 비볼록 텐서 랭크 대체 함수와 희박성 측도를 제안한다. 텐서 복원 및 강건한 주성분 분석에 이러한 페널티를 적용함으로써, 수렴이 주요화 최소화와 ADMM 기반 최적화를 통해 보장되며, 이미지 복원 및 노이즈 제거에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel non-convex tensor rank surrogate function and a novel non-convex sparsity measure for tensor. The basic idea is to sidestep the bias of $\ell_1-$norm by introducing concavity. Furthermore, we employ the proposed non-convex penalties in tensor recovery problems such as tensor completion and tensor robust principal component analysis, which has various real applications such as image inpainting and denoising. Due to the concavity, the models are difficult to solve. To tackle this problem, we devise majorization minimization algorithms, which optimize upper bounds of original functions in each iteration, and every sub-problem is solved by alternating direction multiplier method. Finally, experimental results on natural images and hyperspectral images demonstrate the effectiveness and efficiency of the proposed methods.

연구 동기 및 목표

• 낮은 랭크 및 희박한 텐서 복원에서 ℓ₁-노름이 유도하는 편향을 줄이기 위해 비볼록 대체 방법을 제안하는 것.
• 진정한 텐서 랭크를 더 잘 근사하는 새로운 비볼록 텐서 랭크 대체 함수를 개발하는 것.
• 텐서 내 낮은 랭크 및 희박한 성분 간 분리 성능을 향상시키는 비볼록 희박성 측도를 설계하는 것.
• 이러한 페널티를 실제 텐서 복원 문제, 예를 들어 이미지 복원 및 노이즈 제거에 적용하는 것.
• 제안된 모델의 비볼록성에 대응할 수 있는 효율적인 최적화 프레임워크를 개발하는 것.

제안 방법

• ℓ₁-노름에 비해 편향을 줄이기 위해 오목성을 도입한 비볼록 텐서 랭크 대체 함수를 제안한다.
• 텐서 내 희박한 성분의 표현을 향상시키는 비볼록 희박성 측도를 도입한다.
• 비볼록 목표 함수의 상한을 반복적으로 최적화하기 위해 주요화 최소화를 활용한다.
• 주요화 최소화 프레임워크 내 각 하위 문제를 교차 방향 승수법(ADMM)을 사용해 해결한다.
• 실제 이미지 데이터를 사용한 텐서 복원 및 강건한 주성분 분석 과제에 제안된 프레임워크를 적용한다.
• 비볼록성에도 불구하고 반복적 정밀 조정을 통해 정적 해에 수렴한다.

실험 결과

연구 질문

• RQ1 비볼록 텐서 랭크 대체 함수는 낮은 랭크 텐서 근사에서 ℓ₁-노름의 편향을 줄일 수 있는가?
• RQ2 비볼록 희박성 측도는 텐서 분해에서 희박한 성분의 복원 성능을 어떻게 향상시키는가?
• RQ3 제안된 비볼록 페널티는 텐서 복원 및 강건한 주성분 분석에서 볼록 대안보다 뛰어난 성능을 보일 수 있는가?
• RQ4 주요화 최소화와 ADMM를 조합한 방법은 비볼록 텐서 복원 문제를 해결하는 데 얼마나 효과적인가?
• RQ5 이 방법은 자연 이미지 및 고분광 이미지 데이터셋에서 경험적으로 얼마나 효과적인가?

주요 결과

• 제안된 비볼록 텐서 랭크 대체 함수는 ℓ₁-노름에 비해 편향을 줄여 더 나은 낮은 랭크 근사 성능을 달성한다.
• 비볼록 희박성 측도는 텐서 분해에서 희박한 성분 간 분리 성능을 향상시킨다.
• 자연 이미지 및 고분광 이미지 데이터셋에서 이미지 복원 및 노이즈 제거 성능이 뛰어나다.
• 비볼록 목표 함수의 비볼록성에도 불구하고 주요화 최소화 알고리즘과 ADMM 수렴은 효과적이다.
• 경험적 결과는 제안된 방법이 실제 이미지 복원 과제에서 효과성과 효율성을 모두 입증한다.
• 재구성 정확도와 강인성 측면에서 전통적인 볼록 접근법을 능가한다.