[論文レビュー] DRIVE: One-bit Distributed Mean Estimation

Shay Vargaftik, Ran Ben Basat+4 more|arXiv (Cornell University)|May 18, 2021

Privacy-Preserving Technologies in Data参考文献 59被引用数 10

ひとこと要約

DRIVEは、ランダム回転を用いた一ビット分散平均推定フレームワークを提案し、各クライントが$d(1+o(1))$ビットのみ送信する条件下で$O(1/n)$の正規化平均二乗誤差（NMSE）を達成する。これにより、従来手法に比べて顕著に高い精度を実現する。共有ランダムネスと効率的な回転ベースの圧縮を活用し、高価な符号化や表現方式を必要とせず、高速で低複雑度の推定が可能となる。

ABSTRACT

We consider the problem where $n$ clients transmit $d$-dimensional real-valued vectors using $d(1+o(1))$ bits each, in a manner that allows the receiver to approximately reconstruct their mean. Such compression problems naturally arise in distributed and federated learning. We provide novel mathematical results and derive computationally efficient algorithms that are more accurate than previous compression techniques. We evaluate our methods on a collection of distributed and federated learning tasks, using a variety of datasets, and show a consistent improvement over the state of the art.

研究の動機と目的

• 各クライントが$d$次元ベクトルに対して$d(1+o(1))$ビットのみ送信するという厳しい帯域制約下で、分散平均推定を実現すること。
• 確率的量子化、可変長符号化、またはKashin表現を用いる従来の圧縮技術を改善し、より高い精度と低い計算コストを実現すること。
• 座標表現長に依存しない強力な理論的保証（例：$O(1/n)$のNMSE）を維持しながら、計算効率が高く、実装が容易な手法を開発すること。
• 通信効率が極めて重要なフェデレーテッドおよび分散学習環境において、理論的限界と実際の性能のギャップを埋めること。

提案手法

• クライントのベクトルに一様または構造的ランダム回転（例：ハダマード行列を用いて）を適用し、座標を交換可能かつ同一分布にすること。
• 共有ランダムネスを送信者と受信者間で共有することで、回転後の座標を用いてバイアスありまたはバイアスなしの圧縮により平均を推定する。
• 回転後、各座標ごとに一ビット量子化を実装し、各クライントが各回転座標の符号のみを送信する。
• DRIVEとDRIVE+の2つのバージョンを導入：DRIVEは固定のランダム回転を用いるが、DRIVE+は適応的回転と共有ランダムネスを組み合わせて性能を向上させる。
• 理論的分析により、$O(1/n)$のNMSEが$d(1+o(1))$ビットで達成可能であり、座標表現長に依存しないことが示された。
• 可変長符号化やKashin表現のような高価な操作を回避することで、低遅延かつスケーラブルな展開が可能となった。

実験結果

リサーチクエスチョン

• RQ1 一ビット分散平均推定は、クライント1人あたり$d(1+o(1))$ビットで$O(1/n)$の正規化平均二乗誤差（NMSE）を達成できるか？
• RQ2 送信者と受信者間の共有ランダムネスは、一ビット圧縮方式における推定精度をどのように向上させるか？
• RQ3 ランダム回転ベースの圧縮は、エントロピー符号化を伴う確率的量子化やKashin表現といった従来手法を、理論的および実践的両面で上回ることができるか？
• RQ4 構造的ランダム回転と一様ランダム回転の違いは、推定精度と計算効率にどのような影響を及ぼすか？
• RQ5 実世界の分散学習タスクにおいて、クライント数の増加に伴いDRIVEの性能はどのようにスケーリングするか？

主な発見

• DRIVEは、クライント1人あたり$d(1+o(1))$ビットで$O(1/n)$のNMSEを達成し、従来手法がより多くのビットを要するか、より高い計算コストを要するのに対し、顕著に優れた性能を発揮する。
• 100人のクライントを用いた分散K-Meansおよびパワー反復法のタスクにおいて、DRIVEとDRIVE+は、他の低帯域幅手法をすべて上回り、非圧縮ベースラインに非常に近いL2誤差を達成する。
• 10人のクライントとLognormal(0,1)分布のベクトルを用いた実験では、DRIVEは1座標あたり1ビットで実測NMSEが0.0591に達し、エントロピー符号化を伴う確率的量子化でこの精度に到達するには最低でも1.261ビット/座標が必要となる。
• DRIVEは、Huffman符号化を用いた確率的量子化やその拡張版といった最先端手法を、1座標あたり1ビットを超える場合でさえも上回る。
• 理論的分析により、共有ランダムネスの仮定の下でDRIVEおよびDRIVE+は漸近的に最適であり、バイアスありアルゴリズムでは下限$\frac{1}{16}$、バイアスなしアルゴリズムでは下限$\frac{1}{15}$が得られた。
• 複数のデータセットとタスクにおける評価から、クライント数の増加に伴い推定分散が低減するため、一貫した性能向上が確認された。