[論文レビュー] Secure Approximation Guarantee for Cryptographically Private Empirical Risk Minimization

Toshiyuki Takada, Hiroyuki Hanada+3 more|arXiv (Cornell University)|Feb 15, 2016

Cryptography and Data Security参考文献 15被引用数 6

ひとこと要約

本稿では、暗号的にプライベートな手法としての安全な近似保証（SAG）を提案する。SAGは、安全なマルチパーティ計算（MPC）下での経験的リスク最小化（ERM）解の近似誤差に対して、確率的でなく、仮定を必要としない境界を提供する。区分線形の代替損失関数を用いることで、プライベートなデータを露呈せずに真の解の品質に対するきつい境界を安全に計算可能となり、非線形モデル（例：ロジスティック回帰）におけるプライバシー保護型機械学習の信頼性を著しく向上する。

ABSTRACT

Privacy concern has been increasingly important in many machine learning (ML) problems. We study empirical risk minimization (ERM) problems under secure multi-party computation (MPC) frameworks. Main technical tools for MPC have been developed based on cryptography. One of limitations in current cryptographically private ML is that it is computationally intractable to evaluate non-linear functions such as logarithmic functions or exponential functions. Therefore, for a class of ERM problems such as logistic regression in which non-linear function evaluations are required, one can only obtain approximate solutions. In this paper, we introduce a novel cryptographically private tool called secure approximation guarantee (SAG) method. The key property of SAG method is that, given an arbitrary approximate solution, it can provide a non-probabilistic assumption-free bound on the approximation quality under cryptographically secure computation framework. We demonstrate the benefit of the SAG method by applying it to several problems including a practical privacy-preserving data analysis task on genomic and clinical information.

研究の動機と目的

• 暗号的にプライベートな機械学習において、特にロジスティック回帰のような非線形モデルに対して、信頼できる近似品質の評価が不足している問題に対処すること。
• 安全なマルチパーティ計算（MPC）下で、対数関数や指数関数などの非線形関数（例：logit, exp）の評価が計算的に非現実的である問題を克服すること。
• 真の解の知識が不要な実用的で安全な手法を提供し、近似解が真のERM解にどの程度近いかを評価できること。
• モデルの予測値や係数に対する仮定を要しない非確率的境界を提供することで、プライバシー保護型データ分析における信頼できる意思決定を可能にすること。

提案手法

• 元の非線形損失関数を下界と上界からきわめて密に近似する2つの代替損失関数を用いた、画期的なアルゴリズムフレームワークを導入する。
• 代替損失関数を区分線形関数として実装し、MPC下で暗号的に安全に計算可能であることを保証する。
• これらの代替関数を用いて、解空間の上界と下界の差を評価することで、真のERM解に対する安全な近似境界を構築する。
• 暗号化されたままの状態で境界を計算し、データプライバシーを全過程にわたり保持する。
• 真の解に依存しないように設計することで、真の値を事前に知らなくても、近似解の妥当性を実用的に検証可能である。
• ロジスティック回帰、ポアソン回帰、指数回帰の問題に本手法を適用し、一般性とスケーラビリティを実証する。

実験結果

リサーチクエスチョン

• RQ1 暗号的にプライベートな環境下で、ERM解の近似誤差に対して確率的でなく、仮定を要しない境界を提供できるか？
• RQ2 MPC下で非線形関数（例：ロジット関数、指数関数）の評価が計算的に非現実的である場合、ERM問題の真の解に対する境界を安全に計算する方法は何か？
• RQ3 提案されたSAG手法は、Nardiら（2015年）の確率的アプローチよりもきつい、より信頼性の高い境界を生成できるか？
• RQ4 SAG手法は、患者の分類やゲノム・臨床データにおける顕著な特徴の同定といった、プライバシー保護型機械学習における実用的意思決定をどの程度支援できるか？
• RQ5 SAG手法の計算コストは、近似に使用する区分線形セグメント数 $ K $ にどのように依存するか？

主な発見

• SAG手法は、ERM解の近似誤差に対して確率的でなく、仮定を要しない境界を提供し、真の解にアクセスできない状況下でも解の品質を評価可能である。
• ロジスティック回帰の実験では、区分線形セグメント数 $ K $ を100から1000に増加させたところ、SAG境界が著しくきつくなった。$ K=100 $ 時の1件あたりの所要時間は381.089秒、$ K=1000 $ 時には3717.569秒に増加し、計算コストがほぼ線形に増加することが示された。
• SAG境界は、Nardiらの手法における確率的境界よりも著しくきつかった。これにより、より多くの検証インスタンスが、図1の緑色ヒストグラムに示すように、陽性または陰性と自信を持って分類可能となった。
• ポアソン回帰の実験では、予測された種子数のSAG区間は一貫してきつかったほか、真の値を含んでおり、カウント予測の信頼性を示した。
• 生存時間予測のための指数回帰では、SAG境界が真の生存確率曲線を完全に含んでおり、本手法の正確性と頑健性を確認した。
• 実世界のゲノム・臨床データ解析タスクにおいて、SAG手法は真の係数を知らなくても、境界がゼロをまたぐことにより、疾患リスクに対する正または負の相関を持つ特徴を正当に同定できた。