[論文レビュー] A Review and Roadmap of Deep Learning Causal Discovery in Different Variable Paradigms

Hang Chen, Keqing Du+2 more|arXiv (Cornell University)|Sep 14, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿は、変数のパラダイムを3つに分類することで、深層学習に基づく因果発見の統合的フレームワークを提案する — 確定的、準確定的、不確定的 — それぞれに対応するデータセット（MVD, BVD, IVD）と構造的因果モデル（DSCM, SSCM, USCM）を定義する。既存手法のレビューに加え、不確定的タスクにおけるUSCM構築のための3つのロードマップ（事前知識ベース、サンプリングベース、最大グラフベース）を提示し、サンプリングバイアスや交絡要因といった主な課題を特定。深層学習を用いた因果発見分野における今後の研究の包括的ロードマップを提示する。

ABSTRACT

Understanding causality helps to structure interventions to achieve specific goals and enables predictions under interventions. With the growing importance of learning causal relationships, causal discovery tasks have transitioned from using traditional methods to infer potential causal structures from observational data to the field of pattern recognition involved in deep learning. The rapid accumulation of massive data promotes the emergence of causal search methods with brilliant scalability. Existing summaries of causal discovery methods mainly focus on traditional methods based on constraints, scores and FCMs, there is a lack of perfect sorting and elaboration for deep learning-based methods, also lacking some considers and exploration of causal discovery methods from the perspective of variable paradigms. Therefore, we divide the possible causal discovery tasks into three types according to the variable paradigm and give the definitions of the three tasks respectively, define and instantiate the relevant datasets for each task and the final causal model constructed at the same time, then reviews the main existing causal discovery methods for different tasks. Finally, we propose some roadmaps from different perspectives for the current research gaps in the field of causal discovery and point out future research directions.

研究の動機と目的

• 異なる変数パラダイムにわたる深層学習ベースの因果発見手法に対する体系的分類と統合の不足を解決すること。
• 変数パラダイムに基づいて3つの明確な因果発見タスクを定義すること — 確定的（多変数）、準確定的（2値変数）、不確定的（無限変数）タスク。
• 各パラダイムに対応する対応するデータセット（MVD, BVD, IVD）と構造的因果モデル（DSCM, SSCM, USCM）を導入・形式化すること。
• 変数集合の曖昧さとデータの疎らさが主な課題である不確定的タスクにおけるUSCM構築のための、3つの新規ロードマップ（事前知識ベース、サンプリングベース、最大グラフベース）を提案すること。
• サンプリングバイアス、測定誤差、交絡要因、非線形効果といった重要な未解決問題を特定し、今後の研究の方向性を示すこと。

提案手法

• 因果発見を3つの変数パラダイムに分類する — 確定的（多変数）、準確定的（2値変数）、不確定的（無限変数）、それぞれに特徴的なデータおよびモデル定義を伴う。
• 固定で既知の変数集合を持つタスクのための多変数データセット（MVD）と確定的構造的因果モデル（DSCM）を定義する。
• パターン認識における部分領域またはコンポonentレベルの因果関係を扱うタスクのための2値変数データセット（BVD）と準確定的構造的因果モデル（SSCM）を導入する。
• 変数集合が固定されていない動的でシーケンスベース、または細分化された因果発見タスク（深層学習分野）のための無限変数データセット（IVD）と不確定的構造的因果モデル（USCM）を提案する。
• USCM構築のための3つのロードマップを開発する — 事前知識ベース（ドメイン知識の活用）、サンプリングベース（合成された変数集合の生成）、最大グラフベース（ノード制約付きのグローバルグラフ構造の学習）。
• 最大グラフアプローチにおいて、メトリック学習技術（例：Circle Loss）を適用し、埋め込みの安定性を向上させるとともに、類似度スコアを最適化する。正例と負例の距離に対する適応的重み付けを用いる。

実験結果

リサーチクエスチョン

• RQ1 深層学習における因果発見タスクは、どのように変数パラダイムに基づいて体系的に分類できるか？
• RQ2 確定的、準確定的、不確定的因果発見タスクの特徴、データセット、構造的因果モデルは何か？
• RQ3 特に変数集合の曖昧さとデータの疎らさが主な課題である不確定的タスクにおけるUSCM構築の主な課題は何か？
• RQ4 不確定的タスクにおけるUSCM構築を可能にする、事前知識ベース、サンプリングベース、最大グラフベースの有効なロードマップを設計するにはどうすればよいか？
• RQ5 サンプリングバイアス、交絡要因、測定誤差といった信頼性の高い因果構造探索の障害となる重要な未解決問題は何か？今後の研究でどのように対処すべきか？

主な発見

• 本稿は、変数パラダイムに基づく因果発見タスクの形式的分類を確立し、変数の特性が異なる確定的、準確定的、不確定的タスクを明確に区別している。
• MVD, BVD, IVDという3つの新しいデータセットタイプと、DSCM, SSCM, USCMという対応する構造的因果モデルを導入し、今後の研究のための標準化されたフレームワークを提供している。
• 最大グラフベースのロードマップは、ノードマッピングに制約を課したグローバルグラフ構造を学習することで、変数が曖昧な状況下でも安定性と解釈可能性を向上させ、USCMの構築を可能にする。
• 最大グラフアプローチにおけるCircle Lossの活用により、最適化が向上し、類似度スコアの下位最適化部分に適応的重み付けが行われ、収束性と勾配の明確さが向上する。
• 本稿は、サンプリングバイアス、測定誤差、交絡要因といった重要な障害要因を、信頼性の高い因果構造探索の主な障壁として特定し、今後の研究におけるさらなる手法的イノベーションの必要性を示している。
• 深層学習、特にシーケンスおよび細分化タスクにおけるスケーラブルで、頑健かつ解釈可能な因果発見手法の開発が求められることを踏まえ、包括的な今後の研究のロードマップを提示している。