[論文レビュー] CASTLE: Regularization via Auxiliary Causal Graph Discovery

Trent Kyono, Yao Zhang+1 more|arXiv (Cornell University)|Sep 28, 2020

Bayesian Modeling and Causal Inference参考文献 49被引用数 27

ひとこと要約

CASTLEは、トレーニング中に補助タスクとして因果的有向無閉路グラフ（DAG）を同時に学習することにより、深層学習の一般化性能を向上させる画期的な正則化手法を導入している。因果的隣接を持つ特徴量のみを再構築し、因果構造を活用することで、多様な合成データおよび実世界のデータセットにおいて、ドロップアウト、重み減衰、オートエンコーダーなどの標準的な正則化手法を常に上回る優れた汎化性能を達成している。

ABSTRACT

Regularization improves generalization of supervised models to out-of-sample data. Prior works have shown that prediction in the causal direction (effect from cause) results in lower testing error than the anti-causal direction. However, existing regularization methods are agnostic of causality. We introduce Causal Structure Learning (CASTLE) regularization and propose to regularize a neural network by jointly learning the causal relationships between variables. CASTLE learns the causal directed acyclical graph (DAG) as an adjacency matrix embedded in the neural network's input layers, thereby facilitating the discovery of optimal predictors. Furthermore, CASTLE efficiently reconstructs only the features in the causal DAG that have a causal neighbor, whereas reconstruction-based regularizers suboptimally reconstruct all input features. We provide a theoretical generalization bound for our approach and conduct experiments on a plethora of synthetic and real publicly available datasets demonstrating that CASTLE consistently leads to better out-of-sample predictions as compared to other popular benchmark regularizers.

研究の動機と目的

• 教師あり深層学習における一般化性能の向上を目的とし、正則化に因果構造を統合すること。
• 変数間の因果関係に無関心である既存の正則化手法の限界を解決すること。
• すべての特徴量（因果的でないものも含む）を再構築する方法の非効率性を克服すること。
• 因果的親ノード同定を通じて最適な予測子を同定する理論的裏付けが明確で、安定した正則化手法の開発。
• 高次元およびノイズが多い環境を含む多様なデータセットにおいて一貫した性能向上を実証すること。

提案手法

• CASTLEは、前向き型ニューラルネットワークの入力層に、因果的DAGを隣接行列として埋め込む。
• DAG空間上の連続最適化を用いて、予測タスクと因果構造同定を同時に最適化する。
• 学習されたDAGにおいて因果的隣接を持つ入力特徴量のみを再構築し、関係のないまたはノイズの多い特徴量の不適切な再構築を回避する。
• DAG制約の微分可能リラクゼーションにより、連続最適化を用いたエンドツーエンドのトレーニングが可能になる。
• PAC-Bayes理論を活用して、理論的一般化バウンドを導出する。
• 最小限のアーキテクチャ変更で、回帰および分類タスクの両方へ適用可能である。

実験結果

リサーチクエスチョン

• RQ1 因果構造の共同学習は、教師あり深層学習モデルの一般化性能を向上させることができるか？
• RQ2 すべての特徴量ではなく、因果的に接続された特徴量のみを再構築することは、より優れた正則化に寄与するか？
• RQ3 CASTLEは、ドロップアウト、重み減衰、オートエンコーダーなどの標準的正則化手法と比較して、多様なデータセットで優れた性能を示すか？
• RQ4 CASTLEは高次元入力、増加するノイズ、および変動するデータセットサイズに対して頑健であるか？
• RQ5 因果構造同定は、実世界データおよび合成データの両方において、安定的かつ効果的な正則化手法として機能するか？

主な発見

• CASTLEは、回帰および分類タスクの両方において、11の実世界データセットすべてで最小のテスト誤差を達成した。
• Pima Diabetesデータセットでは、CASTLEがテストRMSE 0.246 ± 0.153を達成し、すべてのベンチマーク手法を上回った。
• 分類タスクにおいて、Facebook MetricsデータセットではAUROCが0.817 ± 0.007に達し、すべての手法の中で最高であった。
• 高次元入力や相関のないノイズが存在する状況でも、CASTLEは性能劣化を示さず、頑健性を示した。
• アブレーションスタディにより、因果構造同定と選択的再構築が改善の主な要因であることが確認された。
• すべてのデータセットにおいて100%の10分割交差検証ランでCASTLEが最良の正則化手法となり、一貫したランナーアップは存在しなかった。