[論文レビュー] Learning Causal Models Online

Khurram Javed, Martha White+1 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 14

ひとこと要約

本論文は、特徴量の時間的不安定性を利用することで、ニューラルネットワーク内の誤った特徴量を検出し、除去するオンラインアルゴリズム PwB* を提案する。誤った特徴量とは、ターゲットとの相関が時間経過とともに変化するものである。繰り返しネットワークパラメータを摂動させ、損失と特徴量分散の両方を最小化することで、一般化性能が優れたモデルに収束する。この手法は、完全なデータカバレッジがなくても、オンライン設定で Oracle IRM などのベースライン手法を上回る性能を発揮し、生データから非誤った特徴量を同定することができる。

ABSTRACT

Predictive models -- learned from observational data not covering the complete data distribution -- can rely on spurious correlations in the data for making predictions. These correlations make the models brittle and hinder generalization. One solution for achieving strong generalization is to incorporate causal structures in the models; such structures constrain learning by ignoring correlations that contradict them. However, learning these structures is a hard problem in itself. Moreover, it's not clear how to incorporate the machinery of causality with online continual learning. In this work, we take an indirect approach to discovering causal models. Instead of searching for the true causal model directly, we propose an online algorithm that continually detects and removes spurious features. Our algorithm works on the idea that the correlation of a spurious feature with a target is not constant over-time. As a result, the weight associated with that feature is constantly changing. We show that by continually removing such features, our method converges to solutions that have strong generalization. Moreover, our method combined with random search can also discover non-spurious features from raw sensory data. Finally, our work highlights that the information present in the temporal structure of the problem -- destroyed by shuffling the data -- is essential for detecting spurious features online.

研究の動機と目的

• 不完全なデータ分布で学習された予測モデルの脆さを、因果的不変性を組み込むことで是正すること。
• 完全なデータカバレッジに依存せずに、因果的一般化を実現するオンライン継続的学習を可能にすること。
• スケーラブルで勾配に基づかない方法を考案し、リアルタイムで誤った特徴量を同定・除去すること。
• データの時間的構造—オンライン学習で保持されるもの—が、誤った相関の検出に不可欠であることを示すこと。
• パラメータ摂動に対するランダムサーチが、生センサー入力から非誤った特徴量を効果的に発見できることを示すこと。

提案手法

• 本手法は、時間にわたる特徴量分散の変化を測定することで、誤った特徴量をオンライン摂動ベースの探索によって検出する。
• 二つの目的を維持する：予測損失の最小化と、時間経過における特徴量重みの分散（v）の最小化。v は計算効率を考慮し、オフライン推定によって算出される。
• 損失と分散最小化の間に矛盾を避けるために、畳み込み層および全結合層に対して摂動を選択的に適用する。
• オンライン動作を可能にするために、バイナリ化された特徴表現（PwB*）を用いて v を効率的に推定する。
• 誤った特徴量の時間的不安定性—ターゲットとの相関が時間とともに変動すること—を、除去のシグナルとして活用する。
• 特徴選択に勾配ベースの最適化を避けることで、長時間にわたる信用配分が可能になる。

実験結果

リサーチクエスチョン

• RQ1 干渉データや完全なデータカバレッジが事前に分かっていない状況でも、オンライン継続的学習環境で誤った特徴量を検出し、除去できるか。
• RQ2 誤った特徴量の時間的不安定性は、リアルタイムでの因果的特徴発見に信頼できるシグナルを提供するか。
• RQ3 勾配に基づかない、摂動駆動型の手法が、ニューラルネットワーク内の誤った相関を効果的に同定・除去できるか。
• RQ4 この手法が、生のセンサー入力から非誤った特徴量をどの程度効果的に発見できるか。
• RQ5 オンライン学習で保持されるデータの時間的構造は、シャッフルされたデータよりも誤った相関の検出をどのように改善するか。

主な発見

• PwB* は、オンラインカラーメンズノイズMNISTベンチマークで 68.83 ± 0.49 のテスト精度を達成し、オンライン設定におけるベースライン手法を上回った。
• スチュワート相関を安定化させる PwB* (0.85) のバージョンでは、色情報が期待どおりに使用された。これは、本手法が相関の不安定性に敏感であることを確認した。
• オンラインとオフラインでの v の推定値の間に強いピアソン相関（r = +0.91）が確認され、精度を損なわず高速化に寄与するオフライン v 推定の有効性が裏付けられた。
• 本手法は、ランダムサーチを用いて生画像から非誤った特徴量を効果的に発見でき、センサー入力への適用可能性を示した。
• PwB* は、勾配ベースの手法（例：Oracle IRM）とは異なり、スケーラブルでオンライン継続的学習と互換性があることが示された。
• 結果から、データの時間的構造が誤った特徴量検出に不可欠であることが明らかになった。シャッフルによってこのシグナルが破壊され、検出が困難になる。