[논문 리뷰] Generalized scale behavior and renormalization group for data analysis

Vincent Lahoche, Dine Ousmane Samary외 1명|arXiv (Cornell University)|2020. 02. 24.

Remote Sensing and Land Use인용 수 5

한 줄 요약

이 논문은 연속 공분산 스펙트럼을 가진 고차원 데이터에서 노이즈 모드와 신호 모드를 구분하는 데 발생하는 애매함을 해결하기 위해 비퍼팅레이티브 리노멀리제이션 그룹(NRG) 프레임워크를 제안한다. 기존의 퍼팅레이티브 RG-PCA 유사성의 연장선에 있으며, 샘플링 노이즈의 분리에 제어 역할을 하는 비가우시안 고정점(Non-Gaussian fixed point)을 규명함으로써, 거칠게는 거시적 이론에 기반한 체계적인 차원 축소 방법을 제공한다. 이는 거듭제곱 법칙 가정을 초월한 것이다.

ABSTRACT

Some recent results showed that renormalization group can be considered as a promising framework to address open issues in data analysis. In this work, we focus on one of these aspects, closely related to principal component analysis for the case of large dimensional data sets with covariance having a nearly continuous spectrum. In this case, the distinction between "noise-like" and "non-noise" modes becomes arbitrary and an open challenge for standard methods. Observing that both renormalization group and principal component analysis search for simplification for systems involving many degrees of freedom, we aim to use the renormalization group argument to clarify the turning point between noise and information modes. The analogy between coarse-graining renormalization and principal component analysis has been investigated in [Journal of Statistical Physics,167, Issue 3-4, pp 462-475, (2017)], from a perturbative framework, and the implementation with real sets of data by the same authors showed that the procedure may reflect more than a simple formal analogy. In particular, the separation of sampling noise modes may be controlled by a non-Gaussian fixed point, reminiscent of the behaviour of critical systems. In our analysis, we go beyond the perturbative framework using nonperturbative techniques to investigate non-Gaussian fixed points and propose a deeper formalism allowing going beyond power-law assumptions for explicit computations.

연구 동기 및 목표

• . 연속 공분산 스펙트럼을 가진 고차원 데이터에서 노이즈 유사 모드와 비노이즈 모드를 구분하는 데 발생하는 애매함을 해결하기 위해.
• . 비퍼팅레이티브 기법을 활용하여 기존의 퍼팅레이티브 RG-PCA 유사성의 범위를 확장하여 비가우시안 고정점을 접근하기 위해.
• . 명시적 계산을 위한 거듭제곱 법칙 가정을 피하는 형식론을 개발하기 위해.
• . 대규모 데이터 세트에서 차원 축소를 위한 체계적이고 장 이론에 기반한 프레임워크를 제공하기 위해.

제안 방법

• . 고차원 데이터의 공분산 행렬에 비퍼팅레이티브 리노멀리제이션 그룹(NRG) 기법을 적용한다.
• . 척도 의존 효과적 행위를 추적하기 위해 기능적 리노멀리제이션 그룹(FRG) 흐름 방정식을 사용한다.
• . 노이즈와 신호 모드의 분리를 지배하는 임계점으로서의 비가우시안 고정점을 규명한다.
• . 데이터 공분산 구조를 통계적 장 이론으로 간주함으로써, RG의 조각내기와 유사한 군집화를 가능하게 한다.
• . 유도 계산 및 최적화 기법을 활용해 흐름 방정식을 수치적으로 해석한다.
• . 고정점 행동을 통한 관련 모드와 무관 모드의 식별을 통해 RG 흐름을 주성분 분석(PCA)과 연결한다.

실험 결과

연구 질문

• RQ1 . 연속 스펙트럼을 가진 고차원 데이터에서 리노멀리제이션 그룹을 어떻게 체계적으로 노이즈와 신호를 구분하는 데 활용할 수 있는가?
• RQ2 . 비가우시안 고정점은 샘플링 노이즈와 의미 있는 데이터 구조의 분리를 어떻게 제어하는가?
• RQ3 . 비퍼팅레이티브 RG 기법은 데이터 차원 축소에 있어 퍼팅레이티브 접근법보다 더 견고하고 일반적인 프레임워크를 제공할 수 있는가?
• RQ4 . 공분산 행렬의 공간에서의 RG 흐름은 데이터의 기하학적 구조를 어떻게 반영하는가?
• RQ5 . RG 프레임워크는 전통적 PCA의 임의의 커프오프를 어느 정도 대체하거나 향상시킬 수 있는가?

주요 결과

• . 비퍼팅레이티브 RG 프레임워크는 고차원 데이터에서 노이즈 모드와 신호 모드의 전이를 지배하는 비가우시안 고정점을 성공적으로 규명하였다.
• . 비가우시안 고정점의 존재는 스케일 의존적인 노이즈와 관련 정보의 제어된 분리를 가능하게 하여, PCA 커프오프의 임의성 문제를 해결한다.
• . 이 방법은 거듭제곱 법칙 가정에 의존하지 않으며, 연속 스펙트럼을 가진 시스템에서의 명시적 계산을 가능하게 한다.
• . RG 흐름은 큰 강줄기 효과를 보이며, 고정점에 의해 지배되는 유한 차원 부분공간으로 시스템이 끌려오는 경향을 보이며, 임계 현상과 유사하다.
• . 이론적 깊이가 기존의 퍼팅레이티브 접근법을 초월하며, 실제 데이터 응용에서 더 높은 견고성 잠재력을 지닌다.
• . 이 접근법은 RG가 고차원 데이터를 관련 자유도의 최소 집합으로 체계적으로 투영할 수 있음을 보여주며, 통계장 이론에서의 성공과 유사하다.