[論文レビュー] Attacks and Defenses for Free-Riders in Multi-Discriminator GAN

Zilong Zhao, Jiyue Huang+2 more|arXiv (Cornell University)|Jan 24, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、マルチディスクラミネーター GAN（MD-GAN）におけるフリー・ライダー攻撃を提案する。攻撃者は、ディスクラミネーターの訓練に貢献せずに、唯一のグローバル・ジェネレーターのみを用いることで、訓練を回避する。この攻撃はモデルパラメータの可視性と勾配集約の仕組みを悪用し、特にモデル交換を行う MD-GAN-Swap がより高い脆弱性を示す。防御機構は、フリー・ライダーの検出において最大90.74%の精度を達成するが、攻撃者が増加するにつれて性能が低下する。

ABSTRACT

Generative Adversarial Networks (GANs) are increasingly adopted by the industry to synthesize realistic images. Due to data not being centrally available, Multi-Discriminator (MD)-GANs training framework employs multiple discriminators that have direct access to the real data. Distributedly training a joint GAN model entails the risk of free-riders, i.e., participants that aim to benefit from the common model while only pretending to participate in the training process. In this paper, we conduct the first characterization study of the impact of free-riders on MD-GAN. Based on two production prototypes of MD-GAN, we find that free-riders drastically reduce the ability of MD-GANs to produce images that are indistinguishable from real data, i.e., they increase the FID score -- the standard measure to assess the quality of generated images. To mitigate the model degradation, we propose a defense strategy against free-riders in MD-GAN, termed DFG. DFG distinguishes free-riders and benign participants through periodic probing and clustering of discriminators' responses based on a reference response of free-riders, which then allows the generator to exclude the detected free-riders from the training. Furthermore, we extend our defense, termed DFG+, to enable discriminators to filter out free-riders at the variant of MD-GAN that allows peer exchanges of discriminators networks. Extensive evaluation on various scenarios of free-riders, MD-GAN architecture, and three datasets show that our defenses effectively detect free-riders. With 1 to 5 free-riders, DFG and DFG+ averagely decreases FID by 5.22% to 11.53% for CIFAR10 and 5.79% to 13.22% for CIFAR100 in comparison to an attack without defense. In a shell, the proposed DFG(+) can effectively defend against free-riders without affecting benign clients at a negligible computation overhead.

研究の動機と目的

• マルチディスクラミネーター GAN におけるフリー・ライダー攻撃の実現可能性と影響を調査すること。ここでの攻撃は、ディスクラミネーターの訓練に貢献せずにグローバル・ジェネレーターの恩恵を受けるものである。
• MD-GAN-Simple、MD-GAN-Swap、MD-GAN-Switch といった異なる MD-GAN フレームワークが、フリー・ライダー攻撃に対してどれほど感受性を示すかを評価すること。
• 分散 GAN 訓練におけるフリー・ライディング行動を検出・防止する防御機構の設計と評価を行うこと。
• フリー・ライダーの数が増加するにつれて、モデル品質（FID で測定）と防御精度がどの程度低下するかを定量化すること。

提案手法

• 攻撃者は、他のディスクラミネーターから得たジェネレーターのパラメータと勾配を観測し、自らのディスクラミネーターを訓練せずに偽のサンプルを生成する。
• MD-GAN-Swap では、ピアツーピアのモデル交換を活用して、訓練の欠如を隠蔽し、活発なクライアントを模倣する可能性がある。
• 防御機構は、ラウンドごとにディスクラミネーターの行動を監視し、異なるデータ入力下でのパラメータのずれや性能の不一致を検出することで異常を特定する。
• MD-GAN-Swap の場合、防御はパラメータ差分分析と行動の一貫性チェックを組み合わせて、フリー・ライダーを同定する。
• システムは共有ジェネレーターと各クライアントごとのローカルディスクラミネーターで初期化され、勾配集約を用いてラウンドごとにジェネレーターの更新が行われる。
• 防御は、テーブルデータおよび画像データ（MNIST、CIFAR10、CIFAR100）を用いて、精度、再現率、および偽陽性・偽陰性率を評価する。

実験結果

リサーチクエスチョン

• RQ1 フリー・ライダーの存在が、MD-GAN フレームワークにおける FID スコアと訓練品質に与える影響は何か？
• RQ2 モデル交換（MD-GAN-Swap）が、フリー・ライダー攻撃の検出可能性と成功確率に与える影響は何か？
• RQ3 行動的およびパラメータベースの異常検出は、マルチディスクラミネーター GAN におけるフリー・ライダーを効果的に同定できるか？
• RQ4 フリー・ライダーの数が、精度と再現率の観点から防御機構の性能に与える影響は何か？
• RQ5 MD-GAN-Simple、MD-GAN-Swap、MD-GAN-Switch といった異なる訓練戦略は、フリー・ライダー攻撃に対してどれほど耐性を示すか比較できるか？

主な発見

• MD-GAN-Simple では、FID スコアが攻撃者がいない状態の 77.46 から、5人の攻撃者を含む状態で 210.57 に上昇し、画像品質の著しい劣化が確認された。
• MD-GAN-Swap では、FID スコアが攻撃者がいない状態の 75.33 から、5人の攻撃者を含む状態で 160.17 に上昇し、MD-GAN-Simple よりも高い脆弱性を示した。
• MD-GAN-Simple 用の防御機構は、MNIST で1人の攻撃者を検出する際、85.40%の精度と100%の再現率を達成したが、5人の攻撃者では精度が22.62%に低下した。
• MD-GAN-Swap では、1人の攻撃者に対して防御機構が90.74%の割合で攻撃を正しく阻止または許可したが、5人の攻撃者では精度が80.00%に低下した。
• MD-GAN-Swap 用の防御機構は、5人の攻撃者に対して0%の誤許可を報告し、最大7.88%の誤阻止を示した。これは偽陽性が非常に低いことを示している。
• 5人の攻撃者を含む状況で、MD-GAN-Swap 用の防御機構は CIFAR10 で100%の再現率を維持したが、精度は80.00%に低下した。これは、正確な検出が難しくなっていることを示している。