[論文レビュー] Rademacher Observations, Private Data, and Boosting

Richard Nock, Giorgio Patrini+1 more|arXiv (Cornell University)|Feb 9, 2015

Privacy-Preserving Technologies in Data参考文献 18被引用数 3

ひとこと要約

本稿では、線形およびカーネル化分類器における同等のロジスティック損失最小化を可能にする変換されたデータ表現、ラデマッチャー観測（rados）を導入する。元の例 rather than それらの一部を学習することで、提案された RadoBoost アルゴリズムはブースティング適合性を満たす収束速度と競争力ある精度を達成する。同時に、高いノイズレベル下でも微分プライバシーを用いた強力なプライバシー保証を実現可能である。

ABSTRACT

The minimization of the logistic loss is a popular approach to batch supervised learning. Our paper starts from the surprising observation that, when fitting linear (or kernelized) classifiers, the minimization of the logistic loss is extit{equivalent} to the minimization of an exponential extit{rado}-loss computed (i) over transformed data that we call Rademacher observations (rados), and (ii) over the extit{same} classifier as the one of the logistic loss. Thus, a classifier learnt from rados can be extit{directly} used to classify extit{observations}. We provide a learning algorithm over rados with boosting-compliant convergence rates on the extit{logistic loss} (computed over examples). Experiments on domains with up to millions of examples, backed up by theoretical arguments, display that learning over a small set of random rados can challenge the state of the art that learns over the extit{complete} set of examples. We show that rados comply with various privacy requirements that make them good candidates for machine learning in a privacy framework. We give several algebraic, geometric and computational hardness results on reconstructing examples from rados. We also show how it is possible to craft, and efficiently learn from, rados in a differential privacy framework. Tests reveal that learning from differentially private rados can compete with learning from random rados, and hence with batch learning from examples, achieving non-trivial privacy vs accuracy tradeoffs.

研究の動機と目的

• 変換されたデータ表現が、正確性を維持したまま、教師あり学習における元の学習例に置き換え可能かどうかを調査すること。
• 特に線形およびカーネル化分類器に対して、ラデマッチャー観測（rados）から学習することが可能かどうかを検討すること。
• radosに基づくデータ変換を通じて、微分プライバシーをはるかに超える強力なプライバシー保証を確保する学習フレームワークを開発すること。
• radosの小さな、適切に選択されたサブセットからの学習が、元の例に対するフルバッチ学習の性能を同等または上回ることを実証すること。
• 特に、元のデータがガウス機構などのメカニズムで保護されている場合に、微分プライバシー下でのradosベースの学習の耐性を評価すること。

提案手法

• 訓練例全体のエッジベクトル（観測 × ラベル）の和としてラデマッチャー観測（rados）を定義し、変換されたデータ表現を形成する。
• 元の例におけるロジスティック損失の最小化が、同じ分類器を用いてradosにおける指数的損失の最小化と数学的に同等であることを証明する。
• 元のデータにおけるロジスティック損失を最小化するために、rados上で段階的に弱学習器を選択するブースティングベースの学習アルゴリズム、RadoBoostを設計する。
• 計算コストを低減し、プライバシー特性を向上させるために、固定サポート（スパースrados）を持つradosを生成するメカニズムを導入する。
• ガウス機構を用いて、微分プライバシーを保証するrados配信メカニズムを構築し、元のデータにおける機微な特徴のプライバシーを確保する。
• radosベクトルとの中央絶対相関に基づいて特徴を選択する慎重な弱学習器を実装し、ノイズ下での安定性とパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ラデマッチャー観測（rados）からの学習が、ロジスティック損失最小化という観点で、元の例からの学習と同等または優れた性能を達成できるか。
• RQ2 radosの小さな代表的サブセットが、高精度分類器の学習において、全セットに置き換え可能となるまでの範囲はどの程度か。
• RQ3 radosは、微分プライバシーおよび代数的・幾何的・計算複雑性の観点から、どのようにプライバシー保護に寄与するか。
• RQ4 radosが強い微分プライバシー制約下で生成された場合でも、radosベースの学習がブースティング適合性の収束速度を維持できるか。
• RQ5 radosがガウス機構によってノイズ処理された場合、プライバシー（ノイズレベル）と正確性のトレードオフはどのようなものか。

主な発見

• 固定サポート（全radosの25％程度）を持つradosで学習したRadoBoostは、高いノイズレベル下でも、元のデータで学習したAdaBoostと同等のテスト誤差を達成する。
• 実験では、固定サポートと慎重な弱学習器を用いたradosが、強い弱学習器を用いたランダムradosを上回り、特に微分プライバシー下で顕著な優位性を示す。
• ガウス機構を用いてσ = 1.0でノイズ処理された微分プライバシー付きradosからの学習は、複数のデータセットで非プライベートベースラインの1.5％以内のテスト誤差を達成する。
• radosから元の例の再構築は計算的に困難であり、理論的にも特定の条件下でNP困難であることが示されている。
• 強い微分プライバシー（例：ε ≈ 0.5）下でも、radosベースの学習はノイズなし設定と同等の収束速度を維持し、耐性を示す。
• radosの代数的・幾何的構造により、元のデータの正確な再構築が不可能であり、微分プライバシーをはるかに超えるプライバシー保護が可能である。