[論文レビュー] A Causal View on Robustness of Neural Networks

Cheng Zhang, Kun Zhang+1 more|arXiv (Cornell University)|May 3, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用数 36

ひとこと要約

この論文は頑健性の因果的観点を主張し、原因の介入を拡張した深層 CAMA（deep CAMA）という因果操作拡張モデルを導入する。これにより未知の入力操作に対する頑健性を向上させ、操作と潜在原因を分離する。

ABSTRACT

We present a causal view on the robustness of neural networks against input manipulations, which applies not only to traditional classification tasks but also to general measurement data. Based on this view, we design a deep causal manipulation augmented model (deep CAMA) which explicitly models possible manipulations on certain causes leading to changes in the observed effect. We further develop data augmentation and test-time fine-tuning methods to improve deep CAMA's robustness. When compared with discriminative deep neural networks, our proposed model shows superior robustness against unseen manipulations. As a by-product, our model achieves disentangled representation which separates the representation of manipulations from those of other latent causes.

研究の動機と目的

• 入力が manipulable な原因によって生成される causal perspective から DNN の頑健性の問題を動機づける。
• 観測データに影響を与える原因への介入を明示的にモデル化する因果生成モデル（deep CAMA）を提案する。
• unseen manipulations に対する頑健性を改善するための test-time adaptation およびデータ拡張を有効にする。
• deep CAMA が manipulation を潜在原因から分離する表現を学習することを示す。

提案手法

• 因果構造を反映する因子分解生成モデル pθ(x,y,z,m)=p(m)p(z)p(y)pθ(x|y,z,m) を提案する。
• 潜在的原因と操作を推定するために amortized variational inference qφ(z,m|x,y)=qφ1(z|x,y,m)qφ2(m|x) を用いる。
• clean data と manipulated data を扱うために intervene ELBO objective（ELBO(x,y,do(m=0)) および ELBO(x,y)）で訓練する。
• テスト時には M と Z のサンプルを用いたモンテカルロベイズ推定を行い予測分布 p(y|x) を得る。
• 任意で unseen manipulations に対する頑健性を高めるための M 関連ネットワークのテスト時微調整を適用する。

実験結果

リサーチクエスチョン

• RQ1 因果構造をニューラルモデルに組み込むと unseen data manipulations に対する頑健性はどう変化するか？
• RQ2 生成的でモジュラーな因果モデルは潜在原因と manipulations を分離し、撹乱下で性能を維持できるか？
• RQ3 因果フレームワーク内での test-time fine-tuning とデータ拡張は clean-data accuracy を損なうことなく頑健性を改善するか？
• RQ4 様々な manipulations の下で Deep CAMA は single-modal および multi-modal 測定データにどのように性能を発揮するか？

主な発見

• Deep CAMA は MNIST および CIFAR-10 派生タスクにおいて discriminative DNN と比較して unseen manipulations に対する頑健性が優れている。
• Test-time fine-tuning とデータ拡張は縦方向・横方向のシフト、 unseen shift を含む頑健性をさらに向上させる。
• Deep CAMA は intrinsic latent causes Z から manipulation M を分離する表現を学習し、頑健な予測を可能にする。
• 共親 C への manipulations や観測 X への manipulations が DNN に与える影響は限定的だが、Deep CAMA の因果構造によって緩和される。
• モデルは因果グラフのミス特定に対してある程度頑健であり、 mild mis-specification の下でも頑健性は判定ベースラインを上回り続ける。