[論文レビュー] Guarding Against Adversarial Domain Shifts with Counterfactual Regularization.

Christina Heinze‐Deml, Nicolai Meinshausen|arXiv (Cornell University)|Oct 31, 2017

Adversarial Robustness in Machine Learning参考文献 57被引用数 32

ひとこと要約

本論文は、回転、ポーズ、画像品質などの変動しやすいスタイル特徴（例：回転、ポーズ、画像品質）によって引き起こされる敵対的ドメインシフトに対して防御するための反事実正則化を提案する。同じ根本的オブジェクトからの画像群を、スタイル特徴に介入を加えた場合の反事実的状態としてモデル化することで、グループ認識に基づく正則化を用いて不変性を強制し、変動しやすい特徴に依存せずにロバストネスを向上させる。

ABSTRACT

When training a deep network for image classification, one can broadly distinguish between two types of latent features of images that will drive the classification: (i) immutable or core features that are inherent to the object in question and do not change substantially from one instance of the object to another and (ii) or features such as position, rotation or image quality but also more complex ones like hair color or posture for images of persons. The distribution of the style features can change in the future. While transfer learning would try to adapt to a shift in the distribution(s), we here want to protect against future adversarial domain shifts, arising through changing style features, by ideally not using the mutable style features altogether. There are two broad scenarios and we show how exploiting grouping information in the data helps in both. (a) If the style features are known explicitly (e.g. rotation) one usually proceeds by using data augmentation. By exploiting the grouping information about which original image an augmented sample belongs to, we can reduce the sample size required to achieve invariance to the style feature in question. (b) Sometimes the style features are not known explicitly but we still have information about samples that belong to the same underlying object (such as different pictures of the same person). By constraining the classification to give the same forecast for all instances that belong to the same object, we show how using this grouping information leads to invariance to such implicit style features and helps to protect against adversarial domain shifts. We provide a causal framework for the problem and treat groups of instances of the same object as counterfactuals under different interventions on the mutable style features. We show links to questions of fairness, transfer learning and adversarial examples.

研究の動機と目的

• 回転、照明、ポーズなどの変動しやすいスタイル特徴の変化によって引き起こされる画像分類における敵対的ドメインシフトの課題に対処すること。
• 同じ根本的オブジェクトの変化にわたる不変性を強制することで、スタイル特徴への依存度を低減する手法を開発すること。
• 同じオブジェクトの反事実的インスタンスとしてのスタイル変化を介入とみなす因果的フレームワークを構築すること。
• 非コアで変動しやすい画像特徴への感受性を低減することで、トランスファー学習および公平性の分野におけるロバストネスを向上させること。
• 公平性、敵対的ロバストネス、ドメインシフトの概念を反事実的正則化アプローチの下で統合すること。

提案手法

• 同じオブジェクトに属する画像群を、回転、照明などのスタイル特徴に異なる介入を加えた場合の反事実的インスタンスとして扱う。
• 元のソースにリンクされた増幅または変種画像を特定するグループ情報を利用して、同じオブジェクトのすべての変種に対して一貫した予測を強制する。
• 同じグループに属するインスタンス間の予測分散をペナルティ化する正則化損失を適用し、変動しやすいスタイル特徴への不変性を促進する。
• スタイル特徴を同じ根本的オブジェクトに対する介入とみなす構造的因果モデルの枠組みで問題を定式化する。
• データオーグメンテーションと暗黙のグループ化（例：同じ人物の複数枚の画像）を活用し、明示的なスタイルラベルなしに反事実的サンプルを同定する。
• 標準的な深層学習の訓練に反事実的正則化を統合し、精度と不変性の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 回転や画像品質などの変動しやすいスタイル特徴の変化によって引き起こされる深層ニューラルネットワークの敵対的ドメインシフトからどのように保護できるか？
• RQ2 明示的なスタイルラベルがない状況で、同じオブジェクトの画像に関するグループ情報は、どのように不変性を強制するために利用できるか？
• RQ3 スタイル変化に起因するドメインシフトをモデル化する際、反事実的推論が果たす役割は何か？
• RQ4 反事実的正則化は、トランスファー学習および公平性の文脈でどのようにロバストネスを向上させるか？
• RQ5 明示的なデータオーグメンテーションやスタイルの分離なしに、スタイル特徴への不変性を達成できるか？

主な発見

• 反事実的正則化は、グループ内メンバー間での一貫した予測を強制することで、モデルが変動しやすいスタイル特徴に依存するのを顕著に低減する。
• スタイル特徴が明示的に分かっていなくても、グループ情報のみを用いることで、スタイルシフトへの不変性を達成できる。
• オブジェクトグループを反事実的状態としてモデル化することで、ドメインシフトのロバストネスと公平性、敵対的ロバストネスを結びつける因果的フレームワークを提供する。
• グループ情報の活用により、データオーグメンテーション下での不変性を達成するためのサンプルサイズが削減される。
• 本手法はさまざまな状況に一般化可能である：増幅による既知のスタイル特徴、および暗黙のグループ化による未知のスタイル特徴の両方において、同じ正則化メカニズムが有効に機能する。
• 実験的結果から、元の分布における精度を損なわずに分布シフトに対するロバストネスが向上することが示された。