[論文レビュー] Deep Quaternion Features for Privacy Protection

Hao Zhang, Yi-Ting Chen+4 more|arXiv (Cornell University)|Mar 18, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 9

ひとこと要約

本論文は、感度の高い情報を四元数特徴のランダムな位相に埋め込むことで、入力のプライバシーを保護する四元数値ニューラルネットワーク（QNN）を提案している。攻撃者がモデル重みや中間特徴を入手しても、入力を再構築することは不可能である。本手法は、最小限の精度低下で強力なプライバシー保護を実現し、同様のプライバシー保護を提供する同種の手法と比較して、計算コストを著しく低減している。同様に、複素数値ネットワークや既存のプライバシー保護ベースラインを凌駆する性能を示している。

ABSTRACT

We propose a method to revise the neural network to construct the quaternion-valued neural network (QNN), in order to prevent intermediate-layer features from leaking input information. The QNN uses quaternion-valued features, where each element is a quaternion. The QNN hides input information into a random phase of quaternion-valued features. Even if attackers have obtained network parameters and intermediate-layer features, they cannot extract input information without knowing the target phase. In this way, the QNN can effectively protect the input privacy. Besides, the output accuracy of QNNs only degrades mildly compared to traditional neural networks, and the computational cost is much less than other privacy-preserving methods.

研究の動機と目的

• 深層ニューラルネットワークの中間層特徴から生じるプライバシー漏洩リスクの増大に対処すること。
• モデルの精度を著しく低下させず、計算コストを増加させないプライバシー保護手法を開発すること。
• 生データをローカルで処理できない、フェデレーテッド学習や外部委託学習の環境において、安全な特徴共有を可能にすること。
• 従来の実数値ネットワークをプライバシー保護型QNNに変換可能な汎用的かつアーキテクチャに依存しない手法を提供すること。

提案手法

• 従来の実数値ニューラルネットワークを、中間特徴が四元数で表現される四元数値ネットワーク（QNN）に変換する。
• エンコーダー段階で、入力情報を四元数特徴のランダムな位相に埋め込み、これを秘密鍵として機能させる。
• 処理モジュールで回転等長性を保証し、層間を貫いて位相回転が一貫して保存されるようにする。
• ReLU やバッチ正則化などの標準的な演算を、四元数空間における回転等長性を維持するように再設計する。
• 攻撃者が位相を推定するのをさらに困難にするために、敵対的学習を適用する。
• 既知の位相を用いたデコーダーを用いて回転を逆転させ、正確な出力を回復する。

実験結果

リサーチクエスチョン

• RQ1 四元数値特徴は、中間層特徴とモデルパラメータにアクセス可能な攻撃者に対して、入力情報を効果的に隠せるか？
• RQ2 QNNのプライバシー保護性能は、複素数値ネットワークや同型暗号化と比較して、再構築攻撃や推論攻撃の観点でどのように差がつくか？
• RQ3 QNN手法は、ベースラインのプライバシー保護手法と比較して、モデルの精度と計算効率にどの程度の影響を与えるか？
• RQ4 QNNフレームワークは、顕著なアーキテクチャの再設計を伴わずに、さまざまなニューラルネットワークアーキテクチャに一般化可能か？

主な発見

• CIFAR-10におけるQNNの再構築誤差は0.0011にとどまり、他のモデルと比較して顕著に高く、より強いプライバシー保護が実現していることが示された。
• QNNの平均差角Δθは3.56°であり、攻撃者が正しい位相を推定することが困難であることを示唆している。
• 人間のアノテーターは、再構築されたサンプルの90％で元の入力を特定できず、アイデンティティ推定に対する再構築失敗率が非常に高いことが確認された。
• QNNにおける推定サンプルのランクは、複素数値ネットワークと比較して高かったことから、位相回復がより困難であることが示された。
• QNNの推論時間は標準的なDNNと同等であり、同型暗号化（例：Gazelle）と比較して著しく高速で、一部のケースでは10倍の高速化が達成された。
• QNNは、強力なプライバシー保証にもかかわらず、元のDNNと比較して分類誤差率が1%以内に収まり、精度の低下が最小限に抑えられた。