[論文レビュー] Removing Undesirable Feature Contributions Using Out-of-Distribution Data

Saehyung Lee, Changhwa Park+4 more|arXiv (Cornell University)|Jan 17, 2021

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、不均衡な分布外（OOD）データを用いて、ラベルなしの分布内（UID）データや仮のラベルに依存せずに、深層ニューラルネットワークにおける標準的および敵対的一般化を向上させる手法である分布外データ拡張訓練（OAT）を提案する。OODサンプルに一様なラベルを割り当てることで、望ましくない特徴の学習を抑制し、既存のデータ拡張技術と組み合わせても最先端の性能向上を達成する。

ABSTRACT

Several data augmentation methods deploy unlabeled-in-distribution (UID) data to bridge the gap between the training and inference of neural networks. However, these methods have clear limitations in terms of availability of UID data and dependence of algorithms on pseudo-labels. Herein, we propose a data augmentation method to improve generalization in both adversarial and standard learning by using out-of-distribution (OOD) data that are devoid of the abovementioned issues. We show how to improve generalization theoretically using OOD data in each learning scenario and complement our theoretical analysis with experiments on CIFAR-10, CIFAR-100, and a subset of ImageNet. The results indicate that undesirable features are shared even among image data that seem to have little correlation from a human point of view. We also present the advantages of the proposed method through comparison with other data augmentation methods, which can be used in the absence of UID data. Furthermore, we demonstrate that the proposed method can further improve the existing state-of-the-art adversarial training.

研究の動機と目的

• ラベルなしの分布内（UID）データや不正確な仮のラベルに依存する既存のデータ拡張手法の限界を解消すること。
• 分布外（OOD）データが、標準的および敵対的学習の両方における一般化を向上させられるかどうかを調査すること。
• OODデータからのラベル情報が不要な、理論的裏付けがあり簡単な手法を開発し、望ましくない特徴の寄与を除去すること。
• 人間の視点から関連性がなく見えても、多様な画像データセット間で望ましくない特徴が転送可能であるかどうかを実証的に検証すること。
• OATが、既存の最先端の敵対的訓練手法をさらに向上させられることを示すこと。

提案手法

• 分布外データ拡張訓練（OAT）を提案する。これは、OODサンプルに一様なラベルを割り当てることで学習を正則化するデータ拡張手法である。
• 理論的分析により、OODデータが分布内データと望ましくない特徴を共有する場合、その特徴の影響が分類器の重み更新に及ぼされる影響を軽減できることを示した。
• 各訓練バッチにおいて、分布内データとOODデータを組み合わせる。この際、OODサンプルには全クラスにわたる一様分布ラベルが割り当てられる。
• 本手法は、OODデータと分布内データが共通の望ましくない特徴空間を共有すると仮定しており、これによりその特徴への依存を抑制する正則化が可能になる。
• OATは標準的学習および敵対的学習の両設定に適用可能であり、OODラベルや仮のラベルは一切使用しない。
• 実装が簡単であり、Mixupなどの既存の拡張技術と組み合わせて利用可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの分布内（UID）データや仮のラベルに依存せず、分布外（OOD）データを用いて深層ニューラルネットワークにおける一般化性能を向上させられるか？
• RQ2 非ロバストでスプライス的相関（spurious correlations）といった望ましくない特徴が、人間の視点から関連性がなく見えても、多様な画像データセット間でどれほど転送可能か？
• RQ3 UIDデータが入手不能な状況において、OATは既存のデータ拡張手法と比較してどれほど高い性能向上を達成できるか？
• RQ4 OATは、既にUIDデータを用いている最先端の敵対的訓練手法をさらに向上させられるか？
• RQ5 OATの有効性は、OODデータと分布内データの分布的類似性に依存するか？

主な発見

• CIFAR-10およびCIFAR-100において、特に訓練データが限られた状況でOATは一般化性能を顕著に向上させた。例えば、2,500件の訓練サンプルでのCIFAR-10では、80M-TIデータを用いたOATで72.49%の標準的精度を達成したのに対し、ベースラインは65.44%であった。
• ImageNet-10（64×64）では、Places365データを用いたOATが100件の訓練サンプルで41.84%の標準的精度を達成し、ベースラインの37.90%を上回った。
• 仮のラベル付けと組み合わせた場合、OATはさらに性能を向上させた。FusionモデルではCIFAR-10で95.53%、CIFAR-100で77.36%のテスト精度を達成し、仮のラベルベースラインの95.28%および77.24%を上回った。
• OODデータがターゲットデータと共通の望ましくない特徴分布を共有している場合、OATは最も効果的である。80M-TI や Places365 のような類似度の高いOODデータセットは、SVHN よりも顕著な向上を示した。
• OATは標準的学習よりも敵対的学習においてより効果的であることが示され、望ましくない特徴が敵対的設定においてより転送されやすいことが示唆された。
• OATはMixupなどの既存手法を強化しており、現在の学習パイプラインへの統合可能性と相性の良さを示している。