[論文レビュー] Privacy constraints in regularized convex optimization

Kamalika Chaudhuri, Anand D. Sarwate|arXiv (Cornell University)|Jul 9, 2009

Privacy-Preserving Technologies in Data参考文献 12被引用数 5

ひとこと要約

この論文は、モデルパラメータを介した情報漏洩を制限する制約を導入することにより、プライバシー保護型正則化凸最適化を調査している。微分プライバシー技術を用いた修正された最適化フレームワークを提案し、解の正確性を維持したままプライバシー損失を有界に保つことを達成した。修正版は arXiv:0912.0071v4 [cs.LG] に掲載されている。

ABSTRACT

This paper is withdrawn due to some errors, which are corrected in arXiv:0912.0071v4 [cs.LG].

研究の動機と目的

• モデルパラメータを公開する際の正則化凸最適化におけるプライバシー漏洩を是正すること。
• 最適化性能を損なわせることなくプライバシー制約を強制するフレームワークを開発すること。
• 凸学習設定において微分プライバシーの保証のもとでプライバシー損失が有界であることを保証すること。

提案手法

• モデルパラメータの感度を制限する制約を追加することにより、プライバシー制約付き最適化定式化を導入する。
• 情報漏洩を制御するため、モデル学習中に微分プライバシー機構を適用する。
• 凸最適化問題におけるプライバシーとモデル正確性のバランスをとるために正則化を用いる。
• 最適化目的関数の感度に基づいて、プライバシー損失の理論的上限を導出する。
• ラグランジュ緩和を用いて、凸最適化フレームワーク内でのプライバシー制約を処理する。
• 元のバージョンに起因する誤りを是正し、現在は arXiv:0912.0071v4 [cs.LG] に掲載されている。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてプライバシー制約を正式に正則化凸最適化に統合できるか？
• RQ2 凸モデルにおけるプライバシー保証と解の正確性のトレードオフは何か？
• RQ3 微分プライバシーは正則化最適化の収束性および安定性にどのように影響するか？
• RQ4 どのような数学的制約がモデルパラメータにおける有界なプライバシー損失を保証するか？
• RQ5 是正された定式化は、プライバシー保護型最適化の信頼性をどのように向上させるか？

主な発見

• 提案手法は、凸最適化において解の正確性を維持したまま、プライバシー制約を効果的に強制できた。
• 感度に基づく制約を通じて、プライバシー損失が有界かつ定量的に制御された。
• arXiv:0912.0071v4 に掲載された是正版は、初期の誤りを是正し、理論的整合性が向上した。
• このフレームワークにより、凸性や最適性を損なわずに正則化学習における微分プライバシーが実現可能になった。
• 理論的分析により、指定された条件下で本手法が (ε, δ)-微分プライバシーを達成することが確認された。
• 本手法は、線形回帰やロジスティック回帰を含む、広範な正則化凸問題のクラスに適用可能である。