[論文レビュー] Generalized scale behavior and renormalization group for data analysis

Vincent Lahoche, Dine Ousmane Samary+1 more|arXiv (Cornell University)|Feb 24, 2020

Remote Sensing and Land Use被引用数 5

ひとこと要約

本論文は、連続的共分散スペクトルを示す高次元データにおいて、ノイズと信号モードを区別する際の曖昧さを解消するため、非摂動的レノルマライゼーション群（NRG）フレームワークを提案する。これは、従来の摂動的RG-PCA類似法を拡張したものであり、ノイズの分離を制御する非ガウス的固定点を同定することで、パワー則の仮定に依存しない、場の理論にインspiredされた系統的で次元削減のための手法を提供する。

ABSTRACT

Some recent results showed that renormalization group can be considered as a promising framework to address open issues in data analysis. In this work, we focus on one of these aspects, closely related to principal component analysis for the case of large dimensional data sets with covariance having a nearly continuous spectrum. In this case, the distinction between "noise-like" and "non-noise" modes becomes arbitrary and an open challenge for standard methods. Observing that both renormalization group and principal component analysis search for simplification for systems involving many degrees of freedom, we aim to use the renormalization group argument to clarify the turning point between noise and information modes. The analogy between coarse-graining renormalization and principal component analysis has been investigated in [Journal of Statistical Physics,167, Issue 3-4, pp 462-475, (2017)], from a perturbative framework, and the implementation with real sets of data by the same authors showed that the procedure may reflect more than a simple formal analogy. In particular, the separation of sampling noise modes may be controlled by a non-Gaussian fixed point, reminiscent of the behaviour of critical systems. In our analysis, we go beyond the perturbative framework using nonperturbative techniques to investigate non-Gaussian fixed points and propose a deeper formalism allowing going beyond power-law assumptions for explicit computations.

研究の動機と目的

• . 連続的共分散スペクトルを示す高次元データにおいて、ノイズ的モードと非ノイズ的モードを区別する際の曖昧さを解消すること。
• . 非摂動的技術を用いて非ガウス的固定点に到達することで、従来の摂動的RG-PCA類似法を拡張すること。
• . 明示的な計算が可能なデータ解析において、パワー則の仮定を回避する形式論を構築すること。
• . 大規模データセットにおける次元削減のための系統的で、場の理論にインspiredされたフレームワークを提供すること。

提案手法

• . 高次元データの共分散行列に非摂動的レノルマライゼーション群（NRG）技術を適用する。
• . スケール依存の有効作用を追跡するために、関数的レノルマライゼーション群（FRG）の流れ方程式を用いる。
• . ノイズモードと信号モードの分離を支配する臨界点として、非ガウス的固定点を同定する。
• . データの共分散構造を統計的場の理論として扱い、RGの粗挙げと類似した粗挙げを可能にする。
• . 衍導展開と最適化スキームを用いて、流れ方程式を数値的に解く。
• . 固定点の振る舞いを通じて関連モードと無関係モードを同定することで、RGの流れと主成分分析（PCA）を結びつける。

実験結果

リサーチクエスチョン

• RQ1 . 連続スペクトルを示す高次元データにおいて、レノルマライゼーション群をどのように系統的にノイズと信号を区別するために用いることができるか？
• RQ2 . 非ガウス的固定点は、サンプリングノイズと意味のあるデータ構造の分離を制御するために果たす役割は何か？
• RQ3 . 非摂動的RG技術は、データ次元削減において、摂動的アプローチよりもより強固で一般的なフレームワークを提供できるか？
• RQ4 . 共分散行列の空間におけるRGの流れは、データの背後にある幾何構造をどのように反映するか？
• RQ5 . RGフレームワークは、従来のPCAにおける任意のカットオフをどの程度代替または改善できるか？

主な発見

• . 非摂動的RGフレームワークは、高次元データにおけるノイズモードと信号モードの遷移を支配する非ガウス的固定点を成功裏に同定した。
• . 非ガウス的固定点の存在により、スケール依存のノイズと関連情報の制御された分離が可能となり、PCAのカットオフの任意性が解消された。
• . パワー則の仮定に依存しないため、連続スペクトルを示す系において明示的な計算が可能になった。
• . RGの流れは、大きなリバー効果を示し、固定点によって支配される有限次元部分空間にシステムが引き寄せられる。これは臨界現象と類似している。
• . 以前の摂動的アプローチよりもより深い形式論を提供し、実データ応用におけるより高いロバストネスの可能性を秘めている。
• . このアプローチは、RGが高次元データを関連度の高い自由度の最小集合へと系統的に射影できることを示しており、統計的場の理論における成功と類似している。