[論文レビュー] Exploring and measuring non-linear correlations: Copulas, Lightspeed Transportation and Clustering

Gautier Marti, Sébastien Andler+2 more|arXiv (Cornell University)|Oct 30, 2016

Mental Health Research Topics被引用数 3

ひとこと要約

本稿では、コプゥラ、最適輸送、クラスタリングを用いて、多変量データ内の特定の非線形的依存パターンを探索・測定・標的化するための新規手法を提案する。これらのツールを活用することで、著者らは特定の相関構造を検出または無視できるパrameterized依存係数（TFDC）を導入した。この手法は、一般化された測定法に比べて、標的となる関係を検出する性能に優れ、金融時系列における複雑で非ガウス的な依存関係を明らかにする。

ABSTRACT

We propose a methodology to explore and measure the pairwise correlations that exist between variables in a dataset. The methodology leverages copulas for encoding dependence between two variables, state-of-the-art optimal transport for providing a relevant geometry to the copulas, and clustering for summarizing the main dependence patterns found between the variables. Some of the clusters centers can be used to parameterize a novel dependence coefficient which can target or forget specific dependence patterns. Finally, we illustrate and benchmark the methodology on several datasets. Code and numerical experiments are available online for reproducible research.

研究の動機と目的

• ピアソン相関係数などの伝統的な相関測定法では、非線形的・非単調的・尾部依存性のある関係を捉えられないという限界を克服すること。
• ユーザーが特定の依存パターン（例：上尾部依存性や下尾部依存性、特定の関数的形）を標的にしたり、無視したりできる手法を構築すること。すなわち、すべての依存形態を均等に検出するのでなく、特定の形態に焦点を当てる。
• 専門家の知識やデータ駆動型のパターンを組み込んだ測定可能で解釈可能な依存係数を用いて、相関に基づく特徴選択を改善すること。
• 最近の最適輸送とコプゥラのクラスタリングの進展を活用した、実用的で計算的に実行可能な依存分析フレームワークを提供すること。

提案手法

• 変数間の対ごとの依存関係を、周辺分布の確率積分変換から得られる経験的コプゥラを用いてモデル化する。
• 最適輸送（Lightspeed Transportation）を適用して、コプゥラ空間に意味のある幾何構造を定義し、依存構造間の距離計算を可能にする。
• コプゥラ空間におけるクラスタリング（例：k-means）を用いて代表的な依存パターンを同定し、クラスタ中心を標的または無視対象（forget-structures）として使用する。
• ユーザーが指定する標的コプゥラおよび無視コプゥラをパrameterとして持つ、新規の依存係数であるTFDC（標的化および無視可能な依存係数）を定義し、経験的コプゥラと標的との類似度を測定する。
• コプゥラの比較とTFDCスコアの計算に、最適輸送に基づくワサーライン距離を基本メトリクスとして使用する。
• ユーザーが複雑な依存クエリ（例：「線形相関なしで上尾部依存性を示すペアを検索」）を提示できるクエリ駆動型システムにこのフレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 ピアソン相関や相互情報量に比べ、非線形的・非単調的・尾部依存性のある相関をより効果的に測定する方法は何か？
• RQ2 信用デフォルトスワップにおける上尾部依存性や株式市場における下尾部依存性といった特定の依存タイプを、選択的に検出または無視できる依存係数を設計可能か？
• RQ3 コプゥラに基づく表現と最適輸送は、高次元データにおける依存関係のより解釈可能で幾何学的に意味のある分析をどのように可能にするか？
• RQ4 コプゥラのクラスタリングは、実世界のデータセット（例：金融時系列）における支配的依存パターンをどれほど効果的に特定・要約できるか？
• RQ5 コプゥラと最適輸送を用いたクエリ駆動型フレームワークは、ドメイン関連の依存構造に焦点を当てることで、特徴選択をどのように改善できるか？

主な発見

• 提案手法であるTFDCは、ノイズが増加する条件下でも、一般化された測定法（例：MICやdCor）に比べてはるかに高い統計的パワーを示し、特定の依存パターンの検出に優れる。
• 金融資産（例：株式、CDS、為替レート）の経験的コプゥラは、ガウスコプゥラから顕著に逸脱しており、明確な尾部依存構造を示す：株式は下尾部依存性を示し、CDSは上尾部依存性を示し、為替レートは多様な依存パターンを示す。
• コプゥラのクラスタリングは、共モノトニック、相反モノトニック、独立性といった意味のある依存パターンを効果的に同定でき、金融分野のドメイン知識と整合する。
• ハンドクラフトされたまたはデータ駆動型の標的コプゥラを用いることで、小さな変化に対して正の相関を示すが全体では相関がないペアを同定するような、複雑な依存クエリへの対応が可能になる。
• この手法は、構造的で非線形的な関係の検出において、標準的な測定法を上回り、ドメイン特化された依存関係が目的である場合には、等価性（equitability）が常に望ましいとは限らないことを確認した。
• 最適輸送（Lightspeed Transportation）の使用により、コプゥラ間の距離計算が効率的に行えるようになり、計算上の課題を克服した。これにより、実世界のデータセットに対してもスケーラブルで実用的な手法が実現された。