[論文レビュー] Use Privacy in Data-Driven Systems: Theory and Experiments with Machine Learnt Programs

Anupam Datta, Matt Fredrikson+3 more|arXiv (Cornell University)|May 22, 2017

Privacy-Preserving Technologies in Data参考文献 46被引用数 6

ひとこと要約

この論文は、機械学習モデルにおける保護情報の代理使用（妊娠や健康状態などの感受性属性の強い予測子であるプロキシが意思決定に使われる現象）を検出および是正するための形式的理論と実用的フレームワークを提示する。ホワイトボックスプログラム解析を用いて、局所化された証拠（witness）を同定し、法的・倫理的基準に基づく規範的判断オラクルを用いて不適切な使用を特定。その後、モデルの精度を維持したままそのような使用を排除する修復アルゴリズムを適用。社会的データセットを用いた検証で、従来手法では見逃されがちな微妙なプロキシ使用も検出可能であることを示した。

ABSTRACT

This paper presents an approach to formalizing and enforcing a class of use privacy properties in data-driven systems. In contrast to prior work, we focus on use restrictions on proxies (i.e. strong predictors) of protected information types. Our definition relates proxy use to intermediate computations that occur in a program, and identify two essential properties that characterize this behavior: 1) its result is strongly associated with the protected information type in question, and 2) it is likely to causally affect the final output of the program. For a specific instantiation of this definition, we present a program analysis technique that detects instances of proxy use in a model, and provides a witness that identifies which parts of the corresponding program exhibit the behavior. Recognizing that not all instances of proxy use of a protected information type are inappropriate, we make use of a normative judgment oracle that makes this inappropriateness determination for a given witness. Our repair algorithm uses the witness of an inappropriate proxy use to transform the model into one that provably does not exhibit proxy use, while avoiding changes that unduly affect classification accuracy. Using a corpus of social datasets, our evaluation shows that these algorithms are able to detect proxy use instances that would be difficult to find using existing techniques, and subsequently remove them while maintaining acceptable classification performance.

研究の動機と目的

• 保護情報の直接使用を超えた、データ駆動型システムにおける使用プライバシーの形式的定式化。特に、感受性属性が直接使われないが、強い予測子（プロキシ）によって間接的に推定される場合に焦点を当てる。
• ホワイトボックスプログラム解析を用いて、特定のコード断片に局所化されたプロキシ使用の検出。
• 法的・倫理的基準に基づいた文脈的要因と政策的制約を用いて、検出されたプロキシ使用が倫理的・法的に不適切かどうかを判断する規範的判断オラクルの導入。
• モデルの有用性と分類性能を維持したまま、不適切なプロキシ使用を排除する修復アルゴリズムの開発。
• 実社会の社会的データセットを用いた評価を通じて、従来手法では見逃されがちな微妙なプロキシ使用の検出を実証する。

提案手法

• 論文は、保護属性と強く関連しているだけでなく、モデルの最終出力に因果的に影響を与える計算をプロキシ使用と定義する。
• モデルの計算グラフを走査するホワイトボックス静的解析手法を導入し、そのようなプロキシ使用を検出し、関連するプログラムコンポONENTを特定する証拠（witness）を生成する。
• 規範的判断オラクルは、文脈的要因とポリシー制約に基づき、検出されたプロキシ使用が倫理的・法的に不適切かどうかを評価する。
• 修復アルゴリズムは、証拠に関連する重みや特徴量を摂動させることでモデルを変更し、プロキシ使用を完全に排除すると同時に、精度の損失を最小限に抑える。
• 修復をガイドし、高リスクの違反を優先するため、微分プライバシーのパrameter（ε, δ）に類似した定量的プライバシーメトリクスを用いる。
• 評価は社会的データセットのコロナスを対象とし、ベースライン手法との比較を通じて検出性能と修復性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型システムにおいて、保護属性が直接使われない場合（代わりに強い予測子が使われる場合）に、どのようにしてプロキシ使用を形式的に定義できるか？
• RQ2 機械学習モデルにおけるプロキシ使用を効果的に検出し、特定のコンponentに局所化するためのプログラム解析手法は何か？ その際、証拠（witness）を生成できるか？
• RQ3 規範的判断オラクルは、検出されたプロキシ使用が倫理的・法的に不適切かどうかをどのように判断できるか？
• RQ4 修復アルゴリズムは、モデルの精度や有用性を著しく低下させることなく、どの程度までプロキシ使用を排除できるか？
• RQ5 提案手法は、実世界のデータセットにおける微妙なまたは間接的なプロキシ使用を、従来の技術と比較してどの程度効果的に検出できるか？

主な発見

• 提案手法は、従来のブラックボックスまたはヒューリスティックベースのアプローチでは困難または不可能であった、機械学習モデルにおけるプロキシ使用の検出に成功した。
• 証拠生成機能により、プロキシ使用が特定のモデルコンポONENTに局所化され、正確な修復と透明性が実現された。
• 全テストケースにおいて、修復アルゴリズムがプロキシ使用をゼロに削減した一方で、分類精度は許容範囲内を維持しており、実用的妥当性が示された。
• 社会的データセットを用いた評価では、検索行動などの間接的シグナルを通じて、妊娠状態や健康状態といった感受性属性のプロキシ使用が検出された。
• 規範的判断オラクルにより、文脈に応じた意思決定が可能となり、倫理的に正当化される使用と不適切な使用を区別できるため、プライバシー規制への準拠を支援する。
• フレームワークは信頼できる環境下での機械学習モデルの監査を可能とし、医療や金融など規制が厳しい分野における使用プライバシー制約の遵守を支援する。