[論文レビュー] Private Speech Classification with Secure Multiparty Computation

Kyle Bittner, Martine De Cock+1 more|arXiv (Cornell University)|Jul 1, 2020

Speech and Audio Processing参考文献 46被引用数 4

ひとこと要約

本論文は、秘密分散計算（MPC）を用いたプライバシー保護型ディープラーニングアプローチを、音声分類に初めて適用した。これにより、アリスはボブの暗号化されたモデルを用いて、自身の音声信号を、データやモデルパラメータを露呈せずに分類できる。セミアコシスト設定下では、3.5秒の音声クリップが0.3秒未塔で分類され、完全な正確性を示し、ボイスアシスタントのようなリアルタイム応用における実用的妥当性を裏付けた。

ABSTRACT

Deep learning in audio signal processing, such as human voice audio signal classification, is a rich application area of machine learning. Legitimate use cases include voice authentication, gunfire detection, and emotion recognition. While there are clear advantages to automated human speech classification, application developers can gain knowledge beyond the professed scope from unprotected audio signal processing. In this paper we propose the first privacy-preserving solution for deep learning-based audio classification that is provably secure. Our approach, which is based on Secure Multiparty Computation, allows to classify a speech signal of one party (Alice) with a deep neural network of another party (Bob) without Bob ever seeing Alice's speech signal in an unencrypted manner. As threat models, we consider both passive security, i.e. with semi-honest parties who follow the instructions of the cryptographic protocols, as well as active security, i.e. with malicious parties who deviate from the protocols. We evaluate the efficiency-security-accuracy trade-off of the proposed solution in a use case for privacy-preserving emotion detection from speech with a convolutional neural network. In the semi-honest case we can classify a speech signal in under 0.3 sec; in the malicious case it takes $\sim$1.6 sec. In both cases there is no leakage of information, and we achieve classification accuracies that are the same as when computations are done on unencrypted data.

研究の動機と目的

• ディープラーニングベースの音声分類におけるプライバシー漏洩問題に対処すること。これは、感情、性別、健康状態などの機微な個人情報を暴露する可能性を伴う。
• 第三者のディープニューラルネットワークを用いて、生の音声データやモデル重みを露呈せずに、音声信号の安全な推論を可能にすること。
• セミアコシストとマルチスティックな脅威モデルの両方において、MPCベースの音声分類の効率性、セキュリティ、正確性のトレードオフを評価すること。
• MPCが、デジタルアシスタントのような生産システムに適したリアルタイムかつ高精度な音声分類を実現可能であることを実証すること。

提案手法

• プロトコルは、秘密分散計算（MPC）を用いて、アリスとボブが共同で、アリスの暗号化された音声信号上で1次元畳み込みニューラルネットワーク（CNN）の出力を計算可能にする。
• すべての計算は、MP-SPDZフレームワークを用いて秘密共有された値上で実行され、推論中、いかなる参加者も生の入力やモデル重みを学習しないことを保証する。
• 2PC（二重参加計算）と3PC（三重参加計算）の両方の設定をサポートしており、3PCはより優れたパフォーマンスとより強いセキュリティ保証を提供する。
• 計算のオーバーヘッドを低減するため、アーキテクチャ的選択と量子化を用いて、MPC効率に最適化されたCNNアーキテクチャが採用されている。
• アクティブセキュリティのため、参加者の不正な行動による逸脱を検出・防止するチェック機構が統合されており、悪意ある行動下でも正しく動作することを保証する。
• プロトコルは最終的な分類ラベル（例：感情クラス）のみを公開し、合意に達した場合にのみ共有されるため、エンドツーエンドのプライバシーが維持される。

実験結果

リサーチクエスチョン

• RQ1 MPCは、第三者のディープラーニングモデルを用いて、音声データやモデルパラメータを露呈せずに、プライベートな音声信号の推論を可能にするか？
• RQ2 MPCベースの音声分類の実行時間と正確性について、暗号化されていない推論と比較して、どのような計算コストが生じるか？
• RQ3 本システムは、パスive（セミアコシスト）およびアクティブ（マルチスティック）なセキュリティモデル下で、どのように動作するか？
• RQ4 MPCの計算コストを考慮しても、音声アシスタントのような実用的応用に適したリアルタイム推論を達成できるか？

主な発見

• セミアコシスト脅威モデル下では、3.5秒の音声信号が0.26秒で分類され、正確性は完全に保持され、暗号化されていない推論と同等であった。
• 低い正確性設定では、分類処理が0.15秒で完了し、MPC最適化環境下での高い効率性が示された。
• マルチスティック脅威モデル下では、分類に約1.6秒を要したが、情報漏洩は一切なく、正確性は完全に保持された。
• システムは、暗号化されていない推論と同一の分類正確性を維持しており、プライバシー保護がパフォーマンスに悪影響を及えないことを実証した。
• 3人のセミアコシストサーバーを用いた3PC設定では、特にアクティブセキュリティ下で、2PCに比べて実行時間が短縮された。
• 結果として、MPCベースのプライベート音声分類が、効率性に最適化された状態では、デジタルアシスタントのようなリアルタイム応用に実用的であることが示された。