[論文レビュー] Decentralized Attribution of Generative Models

Changhoon Kim, Yi Ren+1 more|arXiv (Cornell University)|Oct 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 6

ひとこと要約

本稿では、ユーザー固有の鍵を用いてスケーラブルで証明可能に信頼性のあるモデル同定を可能にする、生成モデル向けの分散型帰属割り当て方式を提案する。幾何的条件を満たす鍵を設計することで、区別可能性と帰属可能性を保証し、生成品質を維持したまま、敵対的後処理に対しても正しく分類を保証する。

ABSTRACT

Growing applications of generative models have led to new threats such as malicious personation and digital copyright infringement. One solution to these threats is model attribution, i.e., the identification of user-end models where the contents under question are generated from. Existing studies showed empirical feasibility of attribution through a centralized classifier trained on all user-end models. However, this approach is not scalable in reality as the number of models ever grows. Neither does it provide an attributability guarantee. To this end, this paper studies decentralized attribution, which relies on binary classifiers associated with each user-end model. Each binary classifier is parameterized by a user-specific key and distinguishes its associated model distribution from the authentic data distribution. We develop sufficient conditions of the keys that guarantee an attributability lower bound. Our method is validated on MNIST, CelebA, and FFHQ datasets. We also examine the trade-off between generation quality and robustness of attribution against adversarial post-processes.

研究の動機と目的

• 中央集権的なモデル帰属割り当て手法におけるスケーラビリティの欠如と帰属可能性の保証の欠如を解消する。
• すべてのモデルを学習した中央分類器に依存せずに、分散型でユーザー固有のモデル帰属割り当てを可能にする。
• 複数のモデルにわたる帰属可能性の下限を保証するためのユーザー固有の鍵に必要な十分条件を提供する。
• 帰属割り当てシステムにおける生成品質と敵対的後処理に対する耐性のバランスを取る。
• 検証可能な保証を備えた実世界への展開に適した実用的フレームワークを開発する。

提案手法

• 各ユーザーのモデルと本物のデータ分布を区別するための、ユーザー固有の鍵でパrameter化された二値線形分類器を用いる。
• モデルの区別可能性を、その関連する分類器が生成されたサンプルと本物のデータを識別する際の精度として定義する。
• 鍵に必要な十分条件を確立：鍵同士の相互角が、データに依存する閾値（例：MNIST、CelebA、FFHQでは90°）を超えること。これにより帰属可能性が保証される。
• データ感度行列 M の固有ベクトルを用いて鍵を計算する。ここで、小さな固有値に対応する方向は感度が低く、生成品質が良い。
• FIDスコア（生成品質）と敵対的後処理に対する耐性とのトレードオフ分析を導入する。
• 元のモデルからの生成品質のずれを、出力摂動の平均の l2 ノルムで定量化する。

実験結果

リサーチクエスチョン

• RQ1 複数のユーザー端末モデルにわたる集団的帰属可能性に下限を保証するための、ユーザー固有の鍵に必要な十分条件は何か？
• RQ2 どのように鍵を設計すれば、高い生成品質を維持しながら、モデルの区別可能性と帰属可能性を確保できるか？
• RQ3 生成コンテンツに対する敵対的後処理に対して、帰属割り当てシステムはどの程度の耐性を示せるか？
• RQ4 鍵の方向（感度行列 M の小さな固有ベクトルに沿った方向）と、得られる生成品質との関係は何か？
• RQ5 鍵の角度に課される幾何的制約は、生成コンテンツを正しく帰属割り当てする能力にどのように影響するか？

主な発見

• 相互角が90°を超える鍵を用いることで、帰属可能性の下限が保証され、この閾値は MNIST、CelebA、FFHQ に対して十分である。
• 感度行列 M の小さな固有ベクトルへの鍵の整合性と、最大摂動（d_max）の低減との間のピアソン相関は、MNIST で 0.33、CelebA で 0.53 である。
• 感度行列 M の最大固有ベクトルを鍵として用いることで、高品質な生成が得られるが、最小固有ベクトルを用いると、出力はランダムノイズに類似する。
• 同じ鍵設計ルールを用いることで、敵対的後処理に対しても帰属割り当てが可能であるが、生成品質に顕著なトレードオフが生じる。
• 提案手法は、生成コンテンツに対して1ホット分類結果を維持し、本物のデータに対してはゼロベクトルを出力することで、提示された条件下で正しく帰属割り当てを保証する。
• 提案された方式は、中央集権的アプローチがそのような保証を欠いているのとは異なり、分散型でスケーラブルなモデル帰属割り当てを、証明可能な保証とともに実現する。