[論文レビュー] The Differentially Private Lottery Ticket Mechanism

Lovedeep Gondara, Ke Wang+1 more|arXiv (Cornell University)|Feb 16, 2020

Gambling Behavior and Treatments参考文献 20被引用数 4

ひとこと要約

本稿では、微分プライバシーを適用したエンドツーエンドの訓練フレームワークとして、Differentially Private Lottery Ticket Mechanism (DPLTM) を提案する。DPLTM は、ロットリーチ・チケット仮説を活用し、独自のスコア関数を用いて高品質でスパースなサブネットワーク（勝利チケット）を同定する。DPLTM は DPSGD よりも優れたプライバシー・ユーティリティのトレードオフを達成し、収束が速く、プライバシー予算を削減した早期停止が可能であり、異なるデータセット、ドメイン、アーキテクチャ間で勝利チケットの転送性を示す。

ABSTRACT

We propose the differentially private lottery ticket mechanism (DPLTM). An end-to-end differentially private training paradigm based on the lottery ticket hypothesis. Using "high-quality winners", selected via our custom score function, DPLTM significantly improves the privacy-utility trade-off over the state-of-the-art. We show that DPLTM converges faster, allowing for early stopping with reduced privacy budget consumption. We further show that the tickets from DPLTM are transferable across datasets, domains, and architectures. Our extensive evaluation on several public datasets provides evidence to our claims.

研究の動機と目的

• 大規模なモデルサイズがノイズを増幅させ、ユーティリティを低下させるという、微分プライバシーを適用したディープラーニングにおけるプライバシー・ユーティリティのトレードオフのボトル neck を解消すること。
• チケット選択と訓練の全段階でプライバシーを保証しつつ、エンドツーエンドの微分プライベート訓練にロットリーチ・チケット仮説を拡張すること。
• プライバシー・ユーティリティのバランスを改善するため、高ユーティリティでパラメータ数が少ないチケットを特定するためのカスタムスコア関数を開発すること。
• 勝利チケットが異なるデータセット、ドメイン、アーキテクチャ間で転送可能であることを示し、下流タスクにおけるプライバシーコストを低減すること。
• 厳密なプライバシー予算（例：ε = 0.2）のもとで、複数のデータセットにおいて最先端の性能を達成すること（DPSGD を上回る）。

提案手法

• 段階1：マグニチュードベースのプルーニングを用いて、ランダムに初期化された大規模なニューラルネットワークからロットリーチチケットを生成する。
• 段階2：独自のスコア関数を用いた指数機構を用いて、高ユーティリティで低パラメータ数を優先する勝利チケットを選択する。
• スコア関数は、モデルの性能とスパarsity の両方をバランスさせ、選択されたチケットが正確かつ軽量であることを保証する。
• 段階3：勾配クリッピングとノイズ注入を伴う微分プライベート確率的勾配降下法（DPSGD）を用いて、選択された勝利チケットを訓練する。
• チケット生成、選択、訓練のすべての段階に微分プライバシーを適用し、エンドツーエンドの (ε, δ)-微分プライバシーを確保する。
• 指数機構の確率分布を用いて、ユーティリティに比例する確率でチケットを選択することで、選択段階でのプライバシーを保証する。

実験結果

リサーチクエスチョン

• RQ1 ロットリーチ・チケット仮説をエンドツーエンドの微分プライベートディープラーニングに拡張可能か。この際、プライバシー保証が維持されるか。
• RQ2 カスタムスコア関数を用いたチケット選択は、ランダム選択やヒューリスティック選択と比較して、プライバシー・ユーティリティのトレードオフを改善できるか。
• RQ3 DPLTM は DPSGD よりも収束が速く、早期停止が可能で、プライバシー予算の消費を削減できるか。
• RQ4 DPLTM が生成する勝利チケットは、異なるデータセット、ドメイン、モデルアーキテクチャ間で転送可能か。
• RQ5 DPLTM は、厳密なプライバシー予算（例：ε = 0.2）のもとで、最先端の DPSGD と比較してどのように性能を発揮するか。

主な発見

• DPLTM は、全5つの評価データセット（MNIST、HAR、Fashion-MNIST、Kuzushiji-MNIST、ISOLET）において、全プライバシー予算で DPSGD を顕著に上回る。
• ε = 0.2 の条件下で、DPLTM は MNIST で 84% の精度を達成したのに対し、ランダムに選択されたチケットでは 79% にとどまり、スコア関数の有効性が裏付けられた。
• DPLTM は DPSGD よりも収束が速く、早期停止が可能であり、プライバシー予算の消費を削減しながらも、ユーティリティを維持または向上させられる。
• DPLTM が生成する勝利チケットは、異なるデータセットやアーキテクチャ間で転送可能であり、新たなタスクにおける低プライバシー予算での訓練を可能にする。
• プライバシーが厳しくなる（例：ε = 0.2）ほど、DPLTM と DPSGD の性能差が拡大する。これにより、プライバシー・ユーティリティのトレードオフが改善されていることが確認された。
• カスタムスコア関数は、高ユーティリティで低パラメータ数のチケットを効果的に同定できており、ランダム選択との比較で一貫した性能向上が確認された。