[논문 리뷰] Kernel Nonnegative Matrix Factorization Without the Curse of the Pre-image - Application to Unmixing Hyperspectral Images

Fei Zhu, Paul Honeiné외 1명|arXiv (Cornell University)|2014. 07. 16.

Remote-Sensing Image Classification참고 문헌 54인용 수 8

한 줄 요약

이 논문은 입력 공간에서 인자 분해 행렬을 직접 추정함으로써 사전-이미지 문제를 피하는 새로운 커널 비음수 행렬 분해(NMF) 프레임워크를 제안한다. 경사하강법과 곱셈 업데이트 규칙을 사용하여, 다항식 및 가우시안 커널을 포함한 다양한 커널 유형에서 고도로 정확하고 강건한 초분광 영상 분해 성능을 달성한다.

ABSTRACT

The nonnegative matrix factorization (NMF) is widely used in signal and image processing, including bio-informatics, blind source separation and hyperspectral image analysis in remote sensing. A great challenge arises when dealing with a nonlinear formulation of the NMF. Within the framework of kernel machines, the models suggested in the literature do not allow the representation of the factorization matrices, which is a fallout of the curse of the pre-image. In this paper, we propose a novel kernel-based model for the NMF that does not suffer from the pre-image problem, by investigating the estimation of the factorization matrices directly in the input space. For different kernel functions, we describe two schemes for iterative algorithms: an additive update rule based on a gradient descent scheme and a multiplicative update rule in the same spirit as in the Lee and Seung algorithm. Within the proposed framework, we develop several extensions to incorporate constraints, including sparseness, smoothness, and spatial regularization with a total-variation-like penalty. The effectiveness of the proposed method is demonstrated with the problem of unmixing hyperspectral images, using well-known real images and results with state-of-the-art techniques.

연구 동기 및 목표

• 커널 NMF에서의 사전-이미지 문제를 해결함으로써 입력 공간에서의 인자 분해 행렬 복원을 가능하게 한다.
• 사전-이미지 계산을 명시적으로 피함으로써 입력 공간에서 엔드멤버와 비율을 직접 추정하는 커널 NMF 프레임워크를 개발한다.
• 다양한 커널 함수에서 최적화를 위한 반복 알고리즘—경사하강법과 곱셈 업데이트 규칙—을 제안한다.
• 스파arsity, 부드러움, 총변동 유사 공간 정규화와 같은 물리적 및 구조적 제약 조건을 통합하여 분해 정확도를 향상시킨다.
• 실제 초분광 영상에서의 효능을 입증하여, 기존 최첨단 기법보다 분해 성능에서 뛰어난 성능을 보인다.

제안 방법

• 사전-이미지 복원이 필요 없도록 입력 공간에서 인자 분해 행렬을 직접 추정함으로써 커널 NMF를 수립한다.
• 두 가지 반복 업데이트 방식을 제안한다: 덧셈형 경사하강 업데이트와 Lee와 Seung의 알고리즘을 영감으로 삼은 곱셈 업데이트 규칙.
• 다항식 및 가우시안 커널과 같은 커널 함수를 사용하여 데이터를 재생성 핵 힐버트 공간(RKHS)으로 매핑하면서도 계산 가능성을 유지한다.
• ℓ1-노름 정규화를 통한 스파arsity 제약 조건과 총변동 유사 페널티를 통한 부드러움 제약 조건을 통합하여 물리적 해석 가능성을 향상시킨다.
• 최적화 과정 전반에 걸쳐 엔드멤버와 비율의 음수를 방지하여 NMF의 부분 기반 표현 특성을 유지한다.
• 특정 조건 하에서 비음수성과 수렴 성질을 유지하는 업데이트 규칙을 유도하였으며, 전체 문제의 비볼록성에도 불구하고 성능을 확보한다.

실험 결과

연구 질문

• RQ1 커널 NMF가 사전-이미지 문제에 의존하지 않고 입력 공간에서 인자 분해 행렬을 직접 추정할 수 있는가?
• RQ2 비볼록성으로 인해 비선형 커널로 인해 발생하는 커널 NMF 문제에 대해 안정적이고 수렴 가능한 반복 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 제안된 커널 NMF 프레임워크 하에서 스파arsity와 공간 정규화가 초분광 영상 분해 정확도에 얼마나 기여하는가?
• RQ4 스펙트럼 및 비율 복원 정확도 측면에서 제안된 방법이 최첨단 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 실세계 초분광 분해 작업에서 다항식 및 가우시안 커널을 포함한 다양한 커널 유형에 대해 제안된 프레임워크가 강건한가?

주요 결과

• 제안된 커널 NMF 프레임워크는 입력 공간에서 인자 분해 행렬을 직접 추정함으로써 사전-이미지 문제를 성공적으로 피함으로써 실용적이고 해석 가능한 해결책을 제공한다.
• 곱셈 업데이트 규칙은 비볼록성으로 인해 비용 함수의 단조 감소를 보장하지 않지만, 실험에서 실용적인 수렴성과 안정성을 보였다.
• 다항식 및 가우시안 커널의 경우, 비용 함수의 헤시안이 항상 양의 준정부호가 되지 않아 하위 최적화 문제가 비볼록임을 나타내며, 이는 이론적 분석과 일치한다.
• 실제 초분광 데이터셋에서 제안된 방법은 기존 최첨단 기법들보다 스펙트럼 각도 거리 및 비율의 제곱근 평균 제곱 오차 측면에서 뛰어난 분해 성능을 달성한다.
• 총변동 유사 페널티를 통한 공간 정규화 통합은 추정된 비율 지ap의 공간 일관성을 크게 향상시킨다.
• 프레임워크는 탄력적이고 확장 가능하여 스파arsity, 부드러움, 합이 1인 비율 제약 조건 등의 다수 제약 조건을 통합할 수 있으며, 물리적 타당성을 향상시킨다.