[論文レビュー] Privacy-Preserving Classification of Personal Text Messages with Secure Multi-Party Computation: An Application to Hate-Speech Detection

Devin Reich, Ariel Todoki+3 more|arXiv (Cornell University)|Jun 5, 2019

Internet Traffic Analysis and Secure E-voting参考文献 51被引用数 12

ひとこと要約

本論文は、個人メッセージにおける嫌がらせ発言検出を目的として、安全なマルチパーティ計算（SMC）を用いた、初めての証明可能に安全なプライバシー保護型テキスト分類システムを提示する。ロジスティック回帰およびツリー集合モデルを用いた分類を可能にし、両者とも相手の機微なデータを学習しないことを保証する。分類処理時間は1秒未塔であり、先行する同型暗号化ベースの手法と比較して2桁以上速く、精度の損失がない。

ABSTRACT

Classification of personal text messages has many useful applications in surveillance, e-commerce, and mental health care, to name a few. Giving applications access to personal texts can easily lead to (un)intentional privacy violations. We propose the first privacy-preserving solution for text classification that is provably secure. Our method, which is based on Secure Multiparty Computation (SMC), encompasses both feature extraction from texts, and subsequent classification with logistic regression and tree ensembles. We prove that when using our secure text classification method, the application does not learn anything about the text, and the author of the text does not learn anything about the text classification model used by the application beyond what is given by the classification result itself. We perform end-to-end experiments with an application for detecting hate speech against women and immigrants, demonstrating excellent runtime results without loss of accuracy.

研究の動機と目的

• アプリケーションにさらされる個人メッセージのプライバシーリスクに対処すること。
• 分類処理中にメッセージ本文およびモデル詳細の漏洩を防ぐ、証明可能に安全なソリューションを設計すること。
• 性能上の制限を克服し、SMCを用いた実用的なプライバシー保護型テキスト分類の展開を可能にすること。
• 効率性と正確性を確保するために、SMC環境に特化した機械学習モデルおよびプロトコルを最適化すること。
• 実世界の嫌がらせ発言検出ユースケースを通じて、エンドツーエンドの実現可能性を示すこと。

提案手法

• 安全なマルチパーティ計算（SMC）を用い、2名の参加者（アリス：メッセージ所有者、ボブ：モデル所有者）が参加する。両者とも相手のプライベートデータを学習しないことを保証する。
• バケット化された安全な等価比較を用いて、非構造化テキストからのプライベートな特徴抽出を実現する、新しいSMCベースのプロトコルを採用する。
• ロジスティック回帰およびAdaBoostモデルのための最適化された安全計算を適用し、セキュリティを保つためにダミー特徴を導入するが、これによりモデルの正確性に影響を与えない。
• ユニグラムには13ビット、バイグラムには17ビットの表現を用い、実験では衝突が観察されなかった。
• 効率性向上のためRustでプロトコルを実装し、通信コストおよび計算コストをエンドツーエンドのパフォーマンス評価に組み込む。
• バイナリ特徴の上に決定木スタブのアンサンブルを用いた、プライバシー保護型の新しいバイナリ分類プロトコルを導入する。

実験結果

リサーチクエスチョン

• RQ1 精度やパフォーマンスを損なわせることなく、証明可能に安全なSMCベースのシステムをプライバシー保護型テキスト分類に設計できるか？
• RQ2 SMC制約下で、非構造化テキストからの安全な特徴抽出をどのように効率的に実装できるか？
• RQ3 実世界のテキスト分類ワークロードにおいて、SMCと同型暗号化の間で生じるパフォーマンスのトレードオフはどのようなものか？
• RQ4 ロジスティック回帰やAdaBoostといった標準的な機械学習モデルを、プライベート計算に適応できる範囲はどの程度で、機能の損失は生じないか？
• RQ5 エンドツーエンドの実行時間が1秒未塔で達成できる実用的なプライベート分類が可能か？

主な発見

• 提案されたSMCベースのシステムは、エンドツーエンドの分類を数秒で実行でき、先行する同型暗号化ベースのソリューション（1ツイートあたり19分）と比較して2桁以上速く、大きな改善を示している。
• プライベート保護型変換による影響がないため、平文での分類と同等の完全な正確性を維持している。
• バケット化の導入により、必要な安全な等価比較の回数が削減され、計算コストが顕著に低下したが、セキュリティは保持された。
• ダミー特徴を導入することでバケットのサイズを均等に保ち、情報漏洩のリスクを低減したが、その係数や重みが0であるため、モデル出力に影響を与えない。
• Rustによる実装は実用的な効率性を示しており、通信コストおよび計算コストを含めた実行時間は1秒未塔であった。
• 本研究は、実世界のパフォーマンスを伴う、証明可能に安全でエンドツーエンドのプライバシー保護型テキスト分類が実現可能である、初めての証拠を提供している。