[논문 리뷰] KoPA: Automated Kronecker Product Approximation

Chencheng Cai, Rong Chen외 1명|arXiv (Cornell University)|2019. 12. 05.

Advanced Data Compression Techniques참고 문헌 38인용 수 15

한 줄 요약

이 논문은 낮은 랭크 SVD보다 더 높은 압축률과 정확도를 제공하는 유연한 행렬 근사 방법인 KoPA(Kronecker Product Approximation)를 제안한다. KoPA는 더 작은 행렬들의 크로네커乘법의 합으로 행렬을 표현하며, 고차원 설정에서 충분한 신호 대 잡음 비율 조건 하에 점점 더 정확한 구성(configuration) 선택을 보장하는 확장된 정보기준을 도입한다.

ABSTRACT

We consider the problem of matrix approximation and denoising induced by the Kronecker product decomposition. Specifically, we propose to approximate a given matrix by the sum of a few Kronecker products of matrices, which we refer to as the Kronecker product approximation (KoPA). Because the Kronecker product is an extension of the outer product from vectors to matrices, KoPA extends the low rank matrix approximation, and includes it as a special case. Comparing with the latter, KoPA also offers a greater flexibility, since it allows the user to choose the configuration, which are the dimensions of the two smaller matrices forming the Kronecker product. On the other hand, the configuration to be used is usually unknown, and needs to be determined from the data in order to achieve the optimal balance between accuracy and parsimony. We propose to use extended information criteria to select the configuration. Under the paradigm of high dimensional analysis, we show that the proposed procedure is able to select the true configuration with probability tending to one, under suitable conditions on the signal-to-noise ratio. We demonstrate the superiority of KoPA over the low rank approximations through numerical studies, and several benchmark image examples.

연구 동기 및 목표

• 낮은 랭크 SVD를 일반화하는 크로네커 승법을 사용한 임의의 크기의 구성 요소 행렬을 활용하는 탄력적인 행렬 근사 방법을 개발한다.
• 크로네커 승법 분해를 위한 최적의 행렬 치수(구성)를 데이터 기반으로 자동으로 선택하는 문제를 해결한다.
• 적절한 신호 대 잡음 조건 하에 고차원 점점 더 큰 표본 수 설정에서 구성 선택의 이론적 일致성을 확립한다.
• 이미지 데이터에서 낮은 랭크 SVD와 총 변동성 정규화와 비교해 더 뛰어난 성능을 보여주는 행렬 노이즈 제거 및 압축 성능을 입증한다.
• 각 항에 대해 다를 수 있는 구성이 허용되는 다항항 크로네커 승법 모델로의 확장을 탐색한다.

제안 방법

• 작은 행렬들의 크로네커 승법의 합을 사용하는 KoPA라는 행렬 근사 방법을 제안하며, 구성 요소 행렬의 치수(구성)는 데이터로부터 선택된다.
• 모델 적합도와 복잡도의 균형을 맞추기 위해 AIC와 BIC를 일반화한 확장된 정보기준(EIC)을 도입한다.
• 주어진 구성에 대해 프로베니우스 노름 최소화를 통해 구성 요소 행렬을 추정하며, 이는 가장 가까운 크로네커 승법 문제를 해결하는 방식이다.
• 이중 단계 알고리즘을 사용한다: 첫 번째로 후보 구성에 대해 구성 요소 행렬을 추정하고, 두 번째로 EIC를 사용해 최적의 구성 선택한다.
• 노이즈가 있는 이미지를 크로네커 승법의 합으로 근사하여 이미지 노이즈 제거에 적용하며, 구성은 BIC(κ = 18 ln 2)를 통해 선택된다.
• 이론적 분석 결과, 고차원 점점 더 큰 표본 수 설정과 충분한 신호 대 잡음 비율 조건 하에, EIC는 참 구성(configuration)을 확률 1에 수렴하는 방식으로 일관되게 선택함을 보였다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 낮은 랭크 SVD보다 더 정확하고 탄력적인 행렬 근사 방법으로 크로네커 승법 근사가 가능할 수 있는가?
• RQ2 크로네커 승법 분해를 위한 최적의 구성(구성 요소 행렬의 치수)을 데이터로부터 자동으로 선택할 수 있는가?
• RQ3 확장된 정보기준은 고차원 점점 더 큰 표본 수 설정에서 일관된 구성 선택을 보장하는가?
• RQ4 KoPA는 낮은 랭크 SVD와 총 변동성 정규화와 비교해 이미지 노이즈 제거에서 어떻게 성능을 발휘하는가?
• RQ5 각 항에 대해 다른 구성이 허용되는 다항항 KoPA 모델은 근사 정확도와 압축률을 향상시킬 수 있는가?

주요 결과

• KoPA는 'peppers'와 'mandril' 등의 테스트 이미지에서 한 항의 SVD보다 재구성 오차를 최대 70%까지 감소시켜 뚜렷이 뛰어난 성능을 보였다.
• 다항항 KoPA(mKoPA)는 총 변동성 정규화(TVR)와 유사한 재구성 오차를 달성했으며, 특히 'mandril'의 코와 같은 매끄러운 영역에서는 TVR가 略적으로 더 우수한 성능을 보였다.
• 'mandril' 이미지에서 mKoPA는 TVR이 이러한 특징들을 과도하게 매끄럽게 만드는 경향이 있는 것과는 달리, 털과 수염과 같은 질감 있는 영역의 미세한 디테일를 더 잘 유지했다.
• BIC(κ = 18 ln 2)에 의해 선택된 구성은 모든 10개의 벤치마크 이미지에서 일관되게 낮은 재구성 오차를 유도했으며, 정보기준의 효과성을 확인했다.
• 이론적 결과로, 고차원 점점 더 큰 표본 수 설정과 충분한 신호 대 잡음 비율 조건 하에, 확장된 정보기준은 참 구성(configuration)을 확률 1에 수렴하는 방식으로 일관되게 선택함을 입증했다.
• KoPA는 원래 행렬에 더 가까운 근사와 함께 낮은 랭크 SVD보다 더 높은 압축률을 제공함으로써, 그 탄력성과 효율성을 입증했다.