[論文レビュー] Interpretable Complex-Valued Neural Networks for Privacy Protection

Liyao Xiang, Haotian Ma+4 more|arXiv (Cornell University)|Jan 28, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 6

ひとこと要約

本論文は、実数値特徴量を複素数値に変換し、入力情報をランダムに選ばれた位相に埋め込むことで、深層ニューラルネットワークにおけるプライバシーを向上させる手法を提案する。このアプローチは、モデルの精度を維持しつつ、敵対者が入力属性を推定したり、元の入力を再構築したりするのを著しく困難にし、最小限の計算コストで強力なプライバシー保護を実現する。

ABSTRACT

Previous studies have found that an adversary attacker can often infer unintended input information from intermediate-layer features. We study the possibility of preventing such adversarial inference, yet without too much accuracy degradation. We propose a generic method to revise the neural network to boost the challenge of inferring input attributes from features, while maintaining highly accurate outputs. In particular, the method transforms real-valued features into complex-valued ones, in which the input is hidden in a randomized phase of the transformed features. The knowledge of the phase acts like a key, with which any party can easily recover the output from the processing result, but without which the party can neither recover the output nor distinguish the original input. Preliminary experiments on various datasets and network structures have shown that our method significantly diminishes the adversary's ability in inferring about the input while largely preserves the resulting accuracy.

研究の動機と目的

• 信頼できないクラウドサーバーにオフロードされる際の深層ニューラルネットワークにおける中間層特徴量のプライバシー漏洩を是正すること。
• 処理済み特徴量から敵対者が機微な入力属性を推定したり、元の入力を再構築したりするのを防ぐこと。
• 特徴量変換を通じて強力なプライバシー保証を実現しつつ、高いモデル精度を維持すること。
• トレーニング中に追加の監督や表記を必要とせず、汎用的かつ効率的な手法を設計すること。

提案手法

• ランダムな位相角を使って、実数値特徴量を回転させることで、複素数値特徴量に変換する。
• 特徴量の回転に対して出力が不変となるように設計された、複素数値ニューラルネットワークアーキテクチャを採用し、機能を保持する。
• 生成的対抗ネットワーク（GAN）を統合し、特徴量を合成することで、k-匿名性を強制し、元の入力パターンを隠蔽する。
• 位相の知識を持つ者だけが正しい出力を回復でき、他の者は元の入力や出力を区別できないように保証する。
• 変換後も特徴量の区分線形性を維持することで、モデル精度を保つ。
• 再トレーニングや監督を必要とせず、さまざまなDNNアーキテクチャやデータセットに汎用的に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ランダムな位相を用いて実数値特徴量を複素数値に変換することで、敵対者が入力情報を効果的に隠蔽できるか。
• RQ2 この手法は、元の実数値ネットワークと比較して、モデル精度にどの程度の低下を引き起こすか。
• RQ3 学習に使用されない隠れた属性に対する性質推定攻撃に対して、この手法はどの程度耐性を示すか。
• RQ4 敵対者が高度な逆方向推定技術を用いても、入力再構築攻撃を防げるか。
• RQ5 ベースラインモデルと比較して、この手法の計算コストはどの程度か。

主な発見

• 複素数値DNNは、ベースラインモデルと同等の分類誤差率を達成しており、計算コストの増加も限定的であった。
• 入力画像の再構築誤差は、すべてのデータセットとモデルで顕著に高く、逆方向攻撃に対する強い耐性を示した。
• 敵対者が推定した位相角の誤差は、主に(π/4, π/2)の範囲に集中しており、真の位相を信頼性高く回復できなかった。
• CIFAR-100では、隠れた属性に対する推論攻撃の誤差率がほぼランダム選択（99%）に近づき、強力なプライバシー保護が実証された。
• k-NNやその他の攻撃モデルは、変換済み特徴量に適用された際、一貫して高い誤差率を示し、k-匿名性が確認された。
• 実行時間は、バッチサイズ128（CelebA）および100（CIFAR-100）において、ベースラインモデルと同等の水準を維持した。