[論文レビュー] Why Do Unlearnable Examples Work: A Novel Perspective of Mutual Information

Yifan Zhu, Yibo Miao+2 more|arXiv (Cornell University)|Mar 4, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

この論文は相互情報量の削減を通じて学習不能な例を分析し、MI-UEを導入する。これは清浄特徴と poisoned特徴間の相互情報量を最小化して汎化を劣化させ、データセットと防御にわたる強い実験結果を示す。

ABSTRACT

The volume of freely scraped data on the Internet has driven the tremendous success of deep learning. Along with this comes the growing concern about data privacy and security. Numerous methods for generating unlearnable examples have been proposed to prevent data from being illicitly learned by unauthorized deep models by impeding generalization. However, the existing approaches primarily rely on empirical heuristics, making it challenging to enhance unlearnable examples with solid explanations. In this paper, we analyze and improve unlearnable examples from a novel perspective: mutual information reduction. We demonstrate that effective unlearnable examples always decrease mutual information between clean features and poisoned features, and when the network gets deeper, the unlearnability goes better together with lower mutual information. Further, we prove from a covariance reduction perspective that minimizing the conditional covariance of intra-class poisoned features reduces the mutual information between distributions. Based on the theoretical results, we propose a novel unlearnable method called Mutual Information Unlearnable Examples (MI-UE) that reduces covariance by maximizing the cosine similarity among intra-class features, thus impeding the generalization effectively. Extensive experiments demonstrate that our approach significantly outperforms the previous methods, even under defense mechanisms.

研究の動機と目的

• unauthorized なモデル学習からデータを保護する目的として unlearnable examples を動機づける。
• UEの有効性を説明する理論的視点として mutual information (MI) を導入する。
• 特徴共分散の削減を通じてMIを最小化する実用的な MI-based poisoning 方法（MI-UE）を提案する。
• MI-UE がデータセット、モデル、防御に対して従来の UE より優れていることを実証する。

提案手法

• 清浄特徴と poisoned特徴間の MI削減によって unlearnable examples を可視化する。
• sliced mutual information (SMI) と複数の推定量を用いて有効な UE によって MI が低下することを示す。
• 共分散削減の視点を導出し、MIと intra-class feature covariance との境界を結ぶ定理（Theorem 5.1）を証明する。
• MI-UEを、 intra-class コサイン類似度（共分散削減）を最大化し、 inter-class 類似度を最小化する損失を最小化する bi-level最適化フレームワーク内で作成する。
• MI-UEを、内側ループで poisonedデータ上の交差エントロピーでモデルパラメータを学習し、外側ループで poisining perturbation（delta）を最大限 MI削減へと最適化する bi-level 目的で実装する。

実験結果

リサーチクエスチョン

• RQ1 効果的な unlearnable poisoning は清浄特徴と poisoned特徴間の相互情報量の低下と相関するか？
• RQ2 poisoned特徴の intra-class 共分散を減らすことは分布間の MI を低下させるか？
• RQ3 MI-UE は diverse なデータセット、アーキテクチャ、防御戦略を跨いで既存の UE を上回ることができるか？
• RQ4 MI-UE は敵対的訓練や一般的なデータ拡張下でどのように機能するか？

主な発見

• 効果的な UE は、すべての推定量において清浄特徴と poisoned特徴間の情報量 I(g(X), g(X')) を低下させる傾向を示す。
• より深いネットワークでは MIの削減が強く、UEで訓練した場合の精度低下が大きい。
• MI-UEは prior UE より低い MI と共分散を達成し、CIFAR-10/100 および ImageNet-subset でより強い unlearnability を示す。
• MI-UEは敵対的訓練や様々な防御下でも有効で、ほとんどの設定で最先端の UE を上回る。
• 実用的な MI-UE 損失は、類似性項（ intra-class cosine similarity）と距離項を組み合わせたもので、類似性項が unlearnability により重要である。