[論文レビュー] Inference under Information Constraints I: Lower Bounds from Chi-Square Contraction

Jayadev Acharya, Clément L. Canonne+1 more|arXiv (Cornell University)|Dec 30, 2018

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、情報制約下での離散分布の学習およびテストにおけるサンプル複雑度のタイトな下界を確立し、新たなカイ二乗収縮フレームワークを用いる。局所的およびデカップルドなカイ二乗フラクチュエーションを導入し、通信制限やローカル微分プライバシーなどの情報制約が統計的区別可能性をどのように低下させるかを特徴づける。その結果、パブリックコインプロトコルに比べ、プライベートコインプロトコルではサンプル複雑度が高くなることが明らかになった。

ABSTRACT

Multiple players are each given one independent sample, about which they can only provide limited information to a central referee. Each player is allowed to describe its observed sample to the referee using a channel from a family of channels $\\mathcal{W}$, which can be instantiated to capture both the communication- and privacy-constrained settings and beyond. The referee uses the messages from players to solve an inference problem for the unknown distribution that generated the samples. We derive lower bounds for sample complexity of learning and testing discrete distributions in this information-constrained setting. Underlying our bounds is a characterization of the contraction in chi-square distances between the observed distributions of the samples when information constraints are placed. This contraction is captured in a local neighborhood in terms of chi-square and decoupled chi-square fluctuations of a given channel, two quantities we introduce. The former captures the average distance between distributions of channel output for two product distributions on the input, and the latter for a product distribution and a mixture of product distribution on the input. Our bounds are tight for both public- and private-coin protocols. Interestingly, the sample complexity of testing is order-wise higher when restricted to private-coin protocols.

研究の動機と目的

• 通信制限やローカル微分プライバシーなどの局所的情報制約下での統計的推論におけるサンプル複雑度の根本的下界を確立すること。
• 固定された家族に属するチャネルとしてプレイヤーのメッセージをモデル化することにより、情報制約付き推論を分析する一般枠組みを構築すること。
• チャネル制約下での統計的区別可能性の低下を、カイ二乗距離の収縮を用いて特徴づけること。
• パブリックコインおよびプライベートコインプロトコルの両方における学習およびテストタスクのタイトなバウンズを導出すること。
• 同じ制約下でも、プライベートコインプロトコルがパブリックコインプロトコルに比べてオーダー的に高いサンプル複雑度を示すことを示すこと。

提案手法

• 局所的カイ二乗フラクチュエーションの概念を導入し、2つの積分布へのチャネル適用後の出力分布間の平均カイ二乗距離を測定する。
• デカップルドなカイ二乗フラクチュエーションを定義し、チャネル下での積分布と積分布の混合分布との距離を定量化する。
• これらのフラクチュエーションを用いて、情報制約が適用された際の出力分布におけるカイ二乗収縮をバウンディングする。
• カイ二乗発散に関するデータ処理不等式を適用し、チャネル制約下での入力摂動と出力の区別可能性の関係を関係づける。
• 最小で達成可能なカイ二乗距離と信頼できる推論に必要なサンプルサイズの関係を関係づけることで、サンプル複雑度の下界を導出する。
• パブリックコインプロトコルを共有ランダムネスとして、プライベートコインプロトコルをチャネルの凸結合としてモデル化することで、両者を区別する。

実験結果

リサーチクエスチョン

• RQ1 通信制限やローカル微分プライバシーなどの情報制約の存在が、離散分布の学習におけるサンプル複雑度にどのように影響するか。
• RQ2 分散推論における情報制約と統計的区別可能性の根本的トレードオフは何か。
• RQ3 同じ制約下で、プライベートコインプロトコルとパブリックコインプロトコルは、分布テストにおけるサンプル複雑度でどのように比較されるか。
• RQ4 カイ二乗収縮を用いて、情報制約付き設定における学習およびテストの両方のタイトな下界を導出できるか。
• RQ5 局所的およびデカップルドなカイ二乗フラクチュエーションは、チャネル制約による情報損失をどのように特徴づけるか。

主な発見

• 本稿は、カイ二乗収縮を用いて、情報制約下での離散分布の学習におけるサンプル複雑度のタイトな下界を確立し、そのバウンドがチャネル族の局所的カイ二乗フラクチュエーションに依存することを示した。
• 分布テストにおいては、同じチャネル族であっても、プライベートコインプロトコルではパブリックコインプロトコルに比べてサンプル複雑度がオーダー的に高くなる。
• カイ二乗収縮バウンドは、新たな特徴づけを用いて導出されており、その特徴づけはチャネル下での平均および混合入出力発散を捉える局所的およびデカップルドなカイ二乗フラクチュエーションを含む。
• テストの下界は、分布族のほぼ ε-摂動を構築し、その結果として得られる出力分布が十分に大きなサンプルサイズがなければ統計的に区別不能であることを示すことによって導出された。
• 分析により、プライベートコイン設定における任意の有効なチャネル選択に対して、チャネル族の出力分布間の最小カイ二乗距離が定数 c = log(14401/14400) で下から抑えられることが証明された。
• 本フレームワークは、学習およびテストの両タスクにおいてタイト性を達成しており、通信およびプライバシー制約付き設定における既知の上界と一致するバウンドを達成している。