[논문 리뷰] On the use of the Gram matrix for multivariate functional principal components analysis

Steven Golovkine, Edward Gunning외 2명|arXiv (Cornell University)|2023. 06. 22.

Spectroscopy and Chemometric AnalysesChemistry인용 수 3

한 줄 요약

이 논문은 기능 곡선 간 내적의 그램 행렬을 활용하여 다변량 기능 주성분 분석(MFPCA)에 대한 새로운 접근법을 제안한다. 이는 관측치 공간과 특징 공간 간의 이중성(duality)을 수립함으로써, 직접 공분산 연산자 추정 없이도 효율적인 차원 감소를 가능하게 한다. 방법은 그램 행렬의 고유분해를 통해 고유성분을 추정하며, 미묘한 조건 하에 기존 표준 MFPCA와 이론적으로 동치임을 보여준다.

ABSTRACT

Dimension reduction is crucial in functional data analysis (FDA). The key tool to reduce the dimension of the data is functional principal component analysis. Existing approaches for functional principal component analysis usually involve the diagonalization of the covariance operator. With the increasing size and complexity of functional datasets, estimating the covariance operator has become more challenging. Therefore, there is a growing need for efficient methodologies to estimate the eigencomponents. Using the duality of the space of observations and the space of functional features, we propose to use the inner-product between the curves to estimate the eigenelements of multivariate and multidimensional functional datasets. The relationship between the eigenelements of the covariance operator and those of the inner-product matrix is established. We explore the application of these methodologies in several FDA settings and provide general guidance on their usability.

연구 동기 및 목표

• 고차원 다변량 기능 데이터 분석에서의 계산 및 추정 과제를 해결하기 위해.
• 복잡한 기능 데이터 세트에서 공분산 연산자 추정의 어려움을 극복하기 위해.
• 관측치와 특징 공간 간의 이중성을 활용하여 고유성분 추정을 단순화하기 위해.
• 공분산 연산자에 기반한 전통적 MFPCA 방법에 대한 계산 효율성이 뛰어난 대안을 제공하기 위해.
• 그램 행렬에서 유도된 고유성분과 공분산 연산자에서 유도된 고유성분 간의 이론적 동치성을 확립하기 위해.

제안 방법

• 기능 곡선 간 내적의 행렬로 다변량 기능 데이터를 구성하여 그램 행렬을 형성한다.
• 그램 행렬에 고유분해를 적용하여 주성분과 스코어를 추출한다.
• 행(관측치)과 열(기능적 특징) 간의 이중성 원리를 적용하여 그램 행렬의 고유구조가 공분산 연산자의 고유구조와 관련이 있음을 규명한다.
• 행렬 변환을 통해 그램 행렬의 고유값 및 고유벡터와 진정한 공분산 연산자의 고유값 및 고유벡터 간의 관계를 유도한다.
• 기저 전개와 그램 행렬 분해로부터 유도된 계수 추정을 통해 고유함수를 재구성한다.
• 정규화 및 일관성을 확보하기 위해 가중치 행렬과 사영 연산자를 통합하여 직교성과 단위 노름 제약 조건을 유지한다.

Figure 1 : Functional data matrix, adapted from Berrendero et al., ( 2011 ) .

실험 결과

연구 질문

• RQ1 다변량 기능 데이터에서 공분산 연산자의 고유성분은 내적의 그램 행렬을 통해 이론적으로 동치로 추정될 수 있는가?
• RQ2 기능 데이터에서 관측치와 특징 공간 간의 이중성은 직접 공분산 추정 없이도 효율적인 MFPCA를 가능하게 하는가?
• RQ3 그램 행렬의 고유값 및 고유벡터와 진정한 공분산 연산자의 고유값 및 고유벡터 간의 이론적 관계는 무엇인가?
• RQ4 제안된 방법은 기존의 MFPCA 기법과 비교해 성능 및 계산 효율성 면에서 어떻게 다른가?
• RQ5 그램 행렬 접근법은 다변량 기능 데이터에서 주성분의 일관되고 안정된 추정을 위해 어떤 조건에서 성립하는가?

주요 결과

• 그램 행렬의 고유값은 공분산 연산자의 고유값과 동일하며, 이론적 동치성을 입증한다.
• 그램 행렬의 고유벡터는 데이터 행렬과 가중치 행렬을 포함한 변환을 통해 공분산 연산자의 고유함수와 관련이 있다.
• 스코어는 내적의 선형 조합을 통해 그램 행렬에서 직접 추정할 수 있으며, 고유값의 역제곱근을 포함한 유도된 공식이 존재한다.
• 이 방법은 직접 공분산 연산자를 계산하지 않아도 차원 감소를 가능하게 하여 계산 부담을 감소시킨다.
• 이 방법은 서로 다른 정의역을 가진 다변량 기능 데이터에 대해 유효하며, 적절한 가중치를 통해 정규화를 지원한다.
• 이론적 유도 결과는 그램 행렬 접근법이 표준 기능 데이터 가정 하에 주성분의 일관된 추정을 제공함을 확인한다.

Figure 5 : Ratio of computation time for Scenario 1 between the Gram matrix method and the covariance operator method. Each univariate component is defined on a one-dimensional domain. $N$ is the number of observations, $M$ is the number of sampling points per curve and $P$ is the number of features