[論文レビュー] Accuracy, Interpretability, and Differential Privacy via Explainable Boosting

Harsha Nori, Rich Caruana+3 more|arXiv (Cornell University)|Jun 17, 2021

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

この論文は、表形式の分類および回帰において最先端の精度を達成しながら、正確なグローバルおよびローカルの解釈可能性を維持する、説明可能なブースティングマシン（EBM）の微分プライバシー適合版であるDP-EBMを紹介する。微分プライバシーはGDPフレームワークを用いて適用され、モデル編集のための事後処理が活用されることで、DP-EBMは強力なプライバシー予算（例：ε=0.5）でも高い性能を維持し、追加のプライバシーコストなしにノイズに起因するバイアスを是正できる。

ABSTRACT

We show that adding differential privacy to Explainable Boosting Machines (EBMs), a recent method for training interpretable ML models, yields state-of-the-art accuracy while protecting privacy. Our experiments on multiple classification and regression datasets show that DP-EBM models suffer surprisingly little accuracy loss even with strong differential privacy guarantees. In addition to high accuracy, two other benefits of applying DP to EBMs are: a) trained models provide exact global and local interpretability, which is often important in settings where differential privacy is needed; and b) the models can be edited after training without loss of privacy to correct errors which DP noise may have introduced.

研究の動機と目的

• 医療や金融などハイリスクな機械学習応用におけるプライバシーと解釈可能性の二重の課題に対処すること。
• 一般化加法モデル（GAMs）のための微分プライバシー適合学習アルゴリズムを開発し、高い予測精度を維持すること。
• 訓練後のモデル編集および制約の強制（例：単調性）を、プライバシーを損なわずに可能にすること。
• 微分プライバシーが正則化子として機能し、モデルの滑らかさと解釈可能性を向上させることを示すこと。

提案手法

• GDPフレームワーク下でのガウスメカニズムを用いて、説明可能なブースティングマシン（EBM）に微分プライバシーを拡張し、厳密なプライバシー会計を実現する。
• 各特徴量の形状関数を学習する際、サイクル的ブースティング中に勾配にノイズを適用することでプライバシーを保護する。
• 連続的特徴量のヒストグラムビニングを用いることで、計算コストを低減し、訓練効率を向上させる。
• 等角回帰などの事後処理技術を活用し、追加のプライバシーコストなしに学習済み形状関数に単調性を強制する。
• 訓練後、形状関数を直接修正することでモデル編集を可能にし、微分プライバシーの事後処理特性によりプライバシーが保持される。
• 既存のEBMフレームワークとシームレスに統合され、scikit-learn互換のパイプラインにおいて、標準EBMと同様に使いやすい。

実験結果

リサーチクエスチョン

• RQ1 EBMのような解釈可能な機械学習モデルに微分プライバシーを効果的に適用できるか、精度の著しい低下を伴わないか？
• RQ2 微分プライバシーと解釈可能性の組み合わせが、ハイリスク分野における実用的なモデル修復および制約強制をどのように可能にするか？
• RQ3 微分プライバシーに起因するノイズが、EBM学習において正則化子として機能する程度はどの程度か？モデルの滑らかさと一般化性能が向上するか？
• RQ4 等角回帰などの事後処理技術を用いて、DP-EBMの形状関数に単調性を強制できるか、プライバシー保証を損なわないか？
• RQ5 多様な表形式データセットにおいて、DP-EBMは他の微分プライバシー学習手法と比較して、精度でどの程度優れているか？

主な発見

• ε=0.5の条件下で、DP-EBMはベンチマーク分類データセットにおいて、非プライベートEBMと比較して最大でAUC 0.05の損失しか発生させず、優れたプライバシーと精度のトレードオフを示している。
• DP-EBMは、複数の分類および回帰タスクにおいて、他の微分プライバシー学習手法を著しく上回り、最先端のパフォーマンスを確立している。
• ε=4での微分プライバシーの追加は正則化子として機能し、より滑らかな形状関数を生成し、モデルの分散を低減し、解釈可能性を向上させた。
• 訓練後の形状関数の編集（例：年齢関連のリスク予測における不自然なピクルの除去）により、ノイズに起因するバイアスを追加のプライバシーコストなしに是正できる。
• 単調性制約は、公開情報のみを用いて学習済み形状関数に等角回帰を適用することで強制可能であり、プライバシーを保持するとともにモデルの信頼性を向上させる。
• 訓練後のモデルの検査・編集・検証が可能であるため、ドメインエキスパートはハイリスクな環境においてモデルを監査・是正・検証でき、プライベートMLシステムへの信頼を高められる。