[論文レビュー] Transferable Unlearnable Examples

Jie Ren, Xu Han+4 more|arXiv (Cornell University)|Oct 18, 2022

Data Quality and Management被引用数 6

ひとこと要約

本稿では、クラスごとの分離性を評価するための判別基準（CSD）に基づく、トレーニング面およびデータ面での転送性を向上させる、新たな不可逆例生成手法である転送可能不可逆例（TUE）を提案する。入力空間における線形分離性を最適化することで、TUEは多様なトレーニング設定（例：教師あり学習および対照的学習）やデータセット（例：CIFAR-10、SVHN、CIFAR-100）においても効果的な摂動を保証し、従来手法に比べて不可逆性の転送性において顕著に優れており、同時に人間の知覚に影響を与えないことを維持する。

ABSTRACT

With more people publishing their personal data online, unauthorized data usage has become a serious concern. The unlearnable strategies have been introduced to prevent third parties from training on the data without permission. They add perturbations to the users' data before publishing, which aims to make the models trained on the perturbed published dataset invalidated. These perturbations have been generated for a specific training setting and a target dataset. However, their unlearnable effects significantly decrease when used in other training settings and datasets. To tackle this issue, we propose a novel unlearnable strategy based on Classwise Separability Discriminant (CSD), which aims to better transfer the unlearnable effects to other training settings and datasets by enhancing the linear separability. Extensive experiments demonstrate the transferability of the proposed unlearnable examples across training settings and datasets.

研究の動機と目的

• 異なるトレーニング設定やデータセット間での既存の不可逆例の転送性が限られている問題に対処すること。
• 教師あり学習で有効な摂動が、教師なしまたは対照的学習では効果を示さないという、弱いトレーニング面での転送性を克服すること。
• あるデータセットで生成された摂動が他のデータセットに対しても有効であるように、データ面での転送性を向上させること。
• 多様な機械学習トレーニングパラダイムにわたり、強力な不可逆効果を維持できる、最適化可能で定量的な手法を開発すること。

提案手法

• 入力空間におけるクラス間の線形分離性を最適化するための微分可能目的関数として、クラスごとの分離性判別基準（CSD）を提案する。
• 摂動を最適化することで、クラス間の分離を最大化し、クラス内ばらつきを最小化することで、不可逆例を生成する。
• モデルが意味的コンテンツではなく、短絡的特徴を学習するように誘導する、人間が認識できない摂動を生成する二段階最適化フレームワークを採用する。
• 教師ありおよび教師なしの両トレーニング設定で保護が可能になるように、クラス単位およびサンプル単位のノイズパターンを統合する。
• t-SNE可視化と補間実験を用いて、入力空間における線形分離性と、異なるデータセット間での転送性を検証する。
• TUEの摂動が、教師なし対照的学習や異なるデータセット間でも不可逆効果を維持できることを実証する。

実験結果

リサーチクエスチョン

• RQ1 あるトレーニング設定（例：教師あり学習）で生成された不可逆例が、別の設定（例：対照的学習）で使用された場合、その不可逆効果を維持できるか？
• RQ2 あるデータセット（例：CIFAR-10）で生成された不可逆摂動が、別のデータセット（例：SVHN や CIFAR-100）に適用された場合、その有効性を保てるか？
• RQ3 入力空間における線形分離性は、トレーニングおよびデータ設定の両方で不可逆例の転送性にどのように影響するか？
• RQ4 統一された不可逆例生成手法は、教師ありおよび教師なし学習の両方からデータを同時に保護できるか？
• RQ5 摂動の構造的特性（例：クラス単位 vs. サンプル単位のパターン）は、より広範な転送性を実現するためにどのように寄与するか？

主な発見

• TUEは、EMN や UCL といった従来手法がクロス設定で失敗するのとは異なり、教師ありおよび教師なしの両トレーニング設定で強力な不可逆効果を達成する。
• t-SNE可視化により、入力空間におけるクラス間の線形分離性が明確に保たれており、各クラスのクラスタが重複せず明確に分離されていることが確認された。
• 補間実験により、CIFAR-10 から SVHN や CIFAR-100 への転送においても、TUEの摂動が線形分離性を維持していることが示され、データ面での転送性が裏付けられた。
• TUEは、EMN や UCL よりも、不正なトレーニングからのデータ保護において優れている：TUEで摂動を加えたデータで学習されたモデルは、クリーンなテストデータでは一般化に失敗する。
• TUEにおけるクラス単位とサンプル単位のノイズパターンの共存により、教師ありおよび教師なし学習の両方に対して効果的な二重保護が実現された。
• TUEの摂動はクラス内では視覚的に一貫しており、クラス間では明確に異なるため、モデルが学習しやすい短絡的特徴を有する構造的で学習可能なパターンが存在することが確認された。