[論文レビュー] Auto-adaptative Laplacian Pyramids for High-dimensional Data Analysis

Ángela Fernández, Neta Rabin+2 more|arXiv (Cornell University)|Nov 26, 2013

Image and Signal Denoising Methods参考文献 11被引用数 11

ひとこと要約

本稿では、高次元データ解析における過学習を回避するために、ラプラシアンピラミッド学習プロセスに近似Leave-One-Out Cross Validation（LOOCV）を統合する、パラメータフリーで効率的な自動適応型ラプラシアンピラミッド（ALP）を提案する。ALPは、過学習を防ぐために最適な停止時刻を自動的に特定する。この手法により、差分マップにおける関数拡張およびOut-of-sample埋め込みが、追加の計算コストなしに実現され、クラスタリング精度が97.53%に達し、太陽放射予測においても優れた性能を示した。

ABSTRACT

Non-linear dimensionality reduction techniques such as manifold learning algorithms have become a common way for processing and analyzing high-dimensional patterns that often have attached a target that corresponds to the value of an unknown function. Their application to new points consists in two steps: first, embedding the new data point into the low dimensional space and then, estimating the function value on the test point from its neighbors in the embedded space. However, finding the low dimension representation of a test point, while easy for simple but often not powerful enough procedures such as PCA, can be much more complicated for methods that rely on some kind of eigenanalysis, such as Spectral Clustering (SC) or Diffusion Maps (DM). Similarly, when a target function is to be evaluated, averaging methods like nearest neighbors may give unstable results if the function is noisy. Thus, the smoothing of the target function with respect to the intrinsic, low-dimensional representation that describes the geometric structure of the examined data is a challenging task. In this paper we propose Auto-adaptive Laplacian Pyramids (ALP), an extension of the standard Laplacian Pyramids model that incorporates a modified LOOCV procedure that avoids the large cost of the standard one and offers the following advantages: (i) it selects automatically the optimal function resolution (stopping time) adapted to the data and its noise, (ii) it is easy to apply as it does not require parameterization, (iii) it does not overfit the training set and (iv) it adds no extra cost compared to other classical interpolation methods. We illustrate numerically ALP's behavior on a synthetic problem and apply it to the computation of the DM projection of new patterns and to the extension to them of target function values on a radiation forecasting problem over very high dimensional patterns.

研究の動機と目的

• ラプラシアンピラミッドに基づく関数近似および埋め込み拡張における過学習の課題に対処すること。
• 手動によるパrameterチューニングを必要とせず、関数スムージングの最適な解像度（停止時刻）を自動的に選択する手法を開発すること。
• 最小限の計算オーバーヘッドで、新しいテスト点に対する差分マップ埋め込みおよび目的関数値の正確なOut-of-sample拡張を可能にすること。
• 標準LOOCVの高コストを回避する、頑健で汎用性の高い多様体上の関数近似ソリューションを提供すること。

提案手法

• ALPは、対角成分をゼロに設定することでカーネル行列を変更し、訓練中に追加コストなしにLOOCV誤差の正確な近似が可能となる。
• ガウスカーネルを用いた多スケール反復的手法を採用し、幅を徐々に小さくすることで、関数および埋め込み座標を段階的にスムージングする。
• 最適な停止反復回数は、訓練プロセスと並列に計算される近似LOOCV誤差を最小にする反復回数として選択される。
• ALPは2段階のプロセスを経る：まず、新しいテスト点に差分マップ特徴を拡張し、次に拡張された埋め込みを用いて目的値（例：太陽放射）を予測する。
• パrameter化や専門知識に依存せず、変更されたカーネル行列から導かれるデータ駆動型停止基準にのみ依存する。
• 本手法は、合成の正弦関数と高次元の数値予報データを用いた実世界の太陽放射予測問題の両方で検証された。

実験結果

リサーチクエスチョン

• RQ1 パラメータチューニングを必要とせず、関数スムージングの最適な停止時刻を自動的に特定できるように、ラプラシアンピラミッドの訓練手順をどのように修正できるか？
• RQ2 ラプラシアンピラミッドの訓練中に追加コストなしにLOOCVをどのように近似できるか？
• RQ3 ALPは、未学習の高次元テストデータに対して、差分マップ埋め込みおよび目的関数をどの程度正確に拡張できるか？
• RQ4 ノイズが多い、または低密度なデータにおいて、ALPは標準の近傍法および古典的ラプラシアンピラミッド手法よりも一般化性能および頑健性に優れているか？

主な発見

• ALPは、完全なLOOCVと同一の反復回数で最小の訓練誤差を達成しており、追加コストなしに過学習を効果的に回避していることを示している。
• 放射予測タスクにおいて、ALPは季節パターンを的確に捉え、日次放射変動を追跡し、専門家のパrameterチューニングなしに妥当な近似を実現した。
• 拡張された差分マップ特徴を用いたテスト点のクラスタリングで97.53%の精度を達成しており、内因的幾何構造を高精度に保持していることが示された。
• ALPは、完全なLOOCVが示唆するのと同一の15回の反復で停止したため、最適な停止基準を自動的に一致させられることを確認した。
• カーネル幅が小さくなるに従い、訓練点がテスト点に与える影響が急激に減少し、反復回数が増えるほど過学習のリスクが低下する。
• 特にノイズが多い、またはスパースな領域において、ALPは標準の近傍法および古典的ラプラシアンピラミッド手法を上回る関数拡張および埋め込みのOut-of-sample性能を示した。