[論文レビュー] Information Laundering for Model Privacy

Xinran Wang, Xiang Yu+2 more|arXiv (Cornell University)|Sep 13, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 10

ひとこと要約

本稿では、展開済みモデルの入力および出力クエリを同時に摂動することで、プライバシーを強化する情報理論的フレームワーク「情報洗浄（information laundering）」を提案する。モデルの有用性と敵対的推論の難易度のトレードオフを最適化することで、反復的カーネル設計により、有限アルファベットの仮定のもとで収束保証付きの、証明可能な最適プライバシー・ユーティリティのバランスを達成する。

ABSTRACT

In this work, we propose information laundering, a novel framework for enhancing model privacy. Unlike data privacy that concerns the protection of raw data information, model privacy aims to protect an already-learned model that is to be deployed for public use. The private model can be obtained from general learning methods, and its deployment means that it will return a deterministic or random response for a given input query. An information-laundered model consists of probabilistic components that deliberately maneuver the intended input and output for queries to the model, so the model's adversarial acquisition is less likely. Under the proposed framework, we develop an information-theoretic principle to quantify the fundamental tradeoffs between model utility and privacy leakage and derive the optimal design.

研究の動機と目的

• 公開展開時に、既に訓練済みの機械学習モデルが敵対的逆設計攻撃から保護されるという急増するニーズに対処すること。
• データプライバシーとは異なる、情報理論的原則を用いた、モデルプライバシーの厳密なプライバシー・ユーティリティのトレードオフを定式化すること。
• モデル所有者が制御された入力および出力変換を通じて、自らのモデルの挙動を意図的に曇らせる、整合的なフレームワークを構築すること。
• プライバシーを最大化しつつ、受け入れ可能なモデルの有用性を維持するための、入力および出力カーネルの最適設計を導出すること。
• 現実世界のモデル展開シナリオにおいて情報洗浄を実装するための収束保証と実用的アルゴリズムを提供すること。

提案手法

• 入力 $X$ がカーネル $K_1$ を通じて摂動され、出力 $\tilde{Y}$ がカーネル $K_2$ を通じて摂動される段階的モデルを提案し、$X$ から $Y$ への有効なチャネル $K$ を形成する。
• 入力 $X,\tilde{X}$ および出力 $\tilde{Y},Y$ 間の相互情報量と、$K$ と元のモデル $K_*$ 間のKLダイバージェンスを組み合わせた目的関数を設計する。
• $K_1$ と $K_2$ を同時に学習するための交互最適化アルゴリズムを採用し、元のモデル $K_*$ が決定論的でかつアルファベットが有限の場合に、グローバル最小値への収束が保証されていることを証明する。
• 出力空間 $\mathcal{Y}$ が有限で $K_*$ が決定論的な場合の簡略化されたアルゴリズム（OIL-Y）を導出。行列表現を用いて効率的な計算を可能にする。
• 指数的重み付けと正規化を含む反復的更新を用いて、出力カーネル $p_{K_2}$ と周辺出力分布 $p_Y$ を改善する。
• 出力摂動プロセスにおけるプライバシーと有用性のトレードオフを制御するための温度に類似したパラメータ $\beta_2$ を適用する。

実験結果

リサーチクエスチョン

• RQ1 正当なユーザーの有用性を損なわせることなく、事前学習済みモデルのプライバシーをどのように向上させられるか？
• RQ2 モデルの有用性と敵対的モデル抽出の難易度の根本的トレードオフは何か？
• RQ3 入力および出力摂動をどのように共同最適化することで、プライバシーを最大化しつつ有用性の損失を最小化できるか？
• RQ4 摂動設計の収束性および最適性に関する理論的保証はどのようなものか？
• RQ5 モデルの構造（例：決定論的 vs. ストキャスティック）は、情報洗浄の有効性にどのように影響するか？

主な発見

• 提案された情報洗浄フレームワークは、情報理論的目的関数を用いることで、モデルの有用性と漏洩するプライバシーの間の証明可能なトレードオフを達成する。
• 元のモデル $K_*$ が決定論的で出力空間が有限であるという仮定のもとで、交互最適化手順がグローバル最小値に収束することが保証されている。
• 有限出力アルファベットの場合に特化したアルゴリズム OIL-Y が導出され、行列演算を用いた効率的実装が可能である。
• 本手法は敵対者に対して真のモデル挙動を効果的に隠蔽し、モデル抽出を著しく困難にする一方で、適切な応答忠実度を維持する。
• 不均衡な入力分布に対してもロバストであり、$\beta_2$ のようなパラメータを用いてプライバシー・ユーティリティのトレードオフを調整可能である。
• 付録の実験結果により、アルゴリズムの収束が確認され、さまざまな設定におけるプライバシーと有用性のトレードオフの様子が明確に示されている。