[論文レビュー] Introducing higher order correlations to marginals' subset of multivariate data by means of Archimedean copulas

Krzysztof Domino, Adam Glos|arXiv (Cornell University)|Mar 21, 2018

Image and Signal Denoising Methods参考文献 3被引用数 4

ひとこと要約

本稿では、多変量正規分布データの部分的な周辺分布に高次相関を導入するためのデータ生成アルゴリズムを提案する。この手法は、元の共分散行列と周辺分布を維持しつつ、アーチメデス・コプールを用いて高次相関を導入する。この方法により、次元削減アルゴリズムが高次依存性をどのように利用しているかを評価可能となり、結果としてJSBS（3次積率に基づく）は誤った特徴量を正しく検出できたが、MEV（2次相関に基づく）は失敗した。これにより、本手法が機械学習アルゴリズムの評価に有効であることが確認された。

ABSTRACT

In this paper, we present the algorithm that alters the subset of marginals of multivariate standard distributed data into such modelled by an Archimedean copula. Proposed algorithm leaves a correlation matrix almost unchanged, but introduces a higher order correlation into a subset of marginals. Our data transformation algorithm can be used to analyse whether particular machine learning algorithm, especially a dimensionality reduction one, utilises higher order correlations or not. We present an exemplary application on two features selection algorithms, mention that features selection is one of the approaches to dimensionality reduction. To measure higher order correlation, we use multivariate higher order cumulants, hence to utilises higher order correlations be to use the Joint Skewness Band Selection (JSBS) algorithm that uses third-order multivariate cumulant. We show the robust performance of the JSBS in contrary to the poor performance of the Maximum Ellipsoid Volume (MEV) algorithm that does not utilise such higher order correlations. With this result, we confirm the potential application of our data generation algorithm to analyse a performance of various dimensionality reduction algorithms.

研究の動機と目的

• 共分散行列や周辺分布を変更せずに、部分的な周辺分布に高次相関を導入するデータ変換手法の開発。
• 次元削減アルゴリズムの高次統計的依存性への感受性を実証的に評価可能にする。
• PCA や特徴選択手法が3次積率をどのように利用しているかを評価するための制御されたベンチマークツールの提供。
• MEV（2次相関に基づく）とJSBS（3次積率に基づく）という2つの異なる特徴選択アルゴリズムを用いて、本手法の妥当性を検証する。
• アーチメデス・コプールと積率テンソルを用いて、高次相関を信頼性高く導入・検出できることを実証する。

提案手法

• 多変量正規分布の一部の周辺分布を、アーチメデス・コプールに基づく分布に変換し、元の相関行列と周辺分布を維持する。
• アーチメデス・コプールを用いて高次依存構造を導入し、クラレイ・、ガンベル、AMH といった特定の族を用いてロバストネスをテストする。
• 高次相関は、特に歪度に基づく検出に用いる3次積率テンソルを用いて定量化する。
• 逆ラプラス＝スティルチェス変換を用いて、一様周辺分布からコプールに基づく変数を生成し、データ構造を維持する。
• 高速な科学的計算を目的として、Juliaで実装され、GitHubで公開されている。
• 性能は、汚染されたデータにおける特徴選択アルゴリズムの識別能を測定することで評価され、平均識別能 $\bar{D}$ が指標として用いられる。

実験結果

リサーチクエスチョン

• RQ1 共分散行列や周辺分布を著しく変更せずに、部分的な周辺分布に高次相関を導入できるか？
• RQ2 2次統計に依存する次元削減アルゴリズムは、データ内の高次依存性を検出できないのか？
• RQ3 共同歪度バンド選択（JSBS）アルゴリズムは、高次相関を意図的に導入された特徴量を正しく同定できるか？
• RQ4 アーチメデス・コプールの選択や相関行列の構造が、高次相関の検出可能性に与える影響は何か？
• RQ5 提案されたデータ生成手法はノイズに対してロバストであり、機械学習アルゴリズムのベンチマークに有効か？

主な発見

• JSBSアルゴリズムは、すべてのコプールと相関行列タイプでほぼ完璧な識別能（$\bar{D} \approx 1$）を達成し、高次相関への感受性が確認された。
• MEVアルゴリズムは、大多数の設定でランダム推測に近い性能（$\bar{D}_{\text{theor}} \approx 0.08$）を示し、高次依存性を活用していないことが示された。
• トーペリッツ型相関行列では、$\rho = 0.3$ でJSBSが高識別能（$\bar{D} > 0.9$）を達成し、Claytonコプールはほぼ理想に近い性能を示した。
• AMHコプールと $\rho > 0.5$ の条件下で、MEVはランダムより高い性能を示したが、これはAMH生成関数の逆ラプラス＝スティルチェス変換による情報損失の影響と推定された。
• 相関行列のノイズは、GumbelおよびAMHコプールにおいてJSBSの性能をわずかに向上させたが、MEVにはほとんど影響を与えず、高次検出メカニズムのロバストネスが示された。
• アルゴリズムは共分散行列と周辺分布を正確に保持しており、高次相関が唯一導入された要因であることが保証された。