[論文レビュー] Robust Testing and Estimation under Manipulation Attacks

Jayadev Acharya, Ziteng Sun+1 more|arXiv (Cornell University)|Apr 21, 2021

Privacy-Preserving Technologies in Data参考文献 31被引用数 4

ひとこと要約

本稿は、通信制約および局所微分プライバシー（LDP）制約のもとで、集中型および分散型の両設定において、操作攻撃に対する頑健な分布推定と検定の統一枠組みを提示する。メッセージ間のハミング距離を介して操作の強度を地球移動距離（EMD）に関連付けることで、ランダムハッシュとℓ₁/ℓ₁等長写像の新技術を用いて、敵対的制御を受けるユーザーの割合がγである強力な汚染モデルにおいて、タイトなミニマックス誤差バウンドを確立し、最適なレートを達成する。

ABSTRACT

We study robust testing and estimation of discrete distributions in the strong contamination model. We consider both the "centralized setting" and the "distributed setting with information constraints" including communication and local privacy (LDP) constraints. Our technique relates the strength of manipulation attacks to the earth-mover distance using Hamming distance as the metric between messages(samples) from the users. In the centralized setting, we provide optimal error bounds for both learning and testing. Our lower bounds under local information constraints build on the recent lower bound methods in distributed inference. In the communication constrained setting, we develop novel algorithms based on random hashing and an $\ell_1/\ell_1$ isometry.

研究の動機と目的

• 最大γのユーザーが敵対的に操作される状況下で、離散的分布学習および同一性検定における頑健な推論を扱う。
• 特に通信制限および局所微分プライバシー（LDP）といった情報制約が、操作攻撃下での頑健な推論に与える影響を分析する。
• 集中型および分散型の両設定において、敵対的メッセージ操作を受ける状況下で、最適なアルゴリズムを設計し、タイトなミニマックス誤差バウンドを導出する。
• ハミング距離をメッセージのメトリクスとして用い、操作攻撃の強度を地球移動距離（EMD）に関連付けることで、操作攻撃の分析を統一する。
• χ²圧縮およびチャネル情報行列を用いて下界を確立し、LDPおよび通信制約下での根本的限界をタイトに特徴づける。

提案手法

• 敵対的攻撃を強力な汚染としてモデル化し、攻撃者はγn人のユーザーを制御可能であり、それらのメッセージを任意に変更可能であるが、元の入力にはアクセスできないが、プロトコルおよび公開の乱数には完全に知っているものとする。
• 統計的誤差の代理として、メッセージ分布間の地球移動距離（EMD）を用い、メッセージ間のハミング距離を用いて操作の影響を定量化する。
• 通信効率的かつ頑健なアルゴリズムを設計するため、ランダムハッシュおよびℓ₁/ℓ₁等長写像を用いる。分散型設定においては、メッセージ長ℓが制限されている。
• チャネル情報行列H(W)のトレースノルムに関連付けることで、情報制約下でのEMDの上界を導出する。H(W)はチャネルが分布構造をどのように利用するかを捉える。
• χ²圧縮およびバイアスが交互に±1となる分布の均一混合構成を用いて下界を確立し、EMDとH(W)のトレースノルムを結びつける。
• 還元補題を用いて制約付き推論問題を非制約問題に還元し、ℓビットメッセージ下での頑健な検定リスクが2^ℓレベルのメッセージ下でのリスクの定数倍以内であることを示す。

実験結果

リサーチクエスチョン

• RQ1 通信制約およびLDP制約下で、γの割合のユーザーが敵対的に操作される状況下で、頑健な分布推定および同一性検定の根本的限界は何か？
• RQ2 操作攻撃の強度は統計的誤差とどのように関係するか？この関係を地球移動距離（EMD）およびメッセージ間のハミング距離を用いて形式化できるか？
• RQ3 通信制限および局所プライバシーの下で、分散型設定における頑健な推論のための最適なアルゴリズムを設計できるか？その誤差バウンドは何か？
• RQ4 LDPおよびメッセージ長制限といった情報制約は、頑健な推論タスクにおけるミニマックス誤差レートにどのように影響するか？
• RQ5 チャネル情報行列H(W)は、操作攻撃下での頑健な推論の根本的限界を特徴づける上で果たす役割は何か？

主な発見

• 本稿は、情報制約下での頑健な分布学習に対して、Ω(γ√(k / max_W ||H(W)||_* )) のミニマックス下界を確立した。ここで||H(W)||_* はチャネル情報行列のトレースノルムである。
• 局所微分プライバシー（LDP）の下では、下界はΩ(γ√(k / ε²)) に簡略化され、プライバシー・パラメータεがε⁻¹に比例して頑健性を低下させることを示している。
• ℓビットメッセージの通信制約下では、下界はΩ(γ√(k / 2^ℓ)) となり、kのスケーリングを維持するためには、メッセージ長ℓがkに対して対数的に増大する必要があることが示された。
• ℓビット通信下での頑健な検定の上界はO(√(k / 2^ℓ) × R_IT(2^ℓ, n, γ)) であり、有効なアルファベットサイズ2^ℓにおける非制約ケースへの還元を示している。
• 情報制約がない状況下で、LDP下での頑健な検定のミニマックスリスクはΩ(√(kγ/n)) であることを証明し、先行研究で知られている下界と一致している。
• 提案されたアルゴリズムは集中型および分散型の両設定で最適なレートを達成しており、導出された下界と定数倍の差異以内の誤差バウンドを達成しており、結果のタイトさを確立している。