[论文解读] Information Theoretic Secure Aggregation with User Dropouts

Yizhou Zhao, Sun Hua|arXiv (Cornell University)|Jan 19, 2021

Distributed Sensor Networks and Detection Algorithms被引用 4

一句话总结

本文研究了在用户掉线情况下的联邦学习中信息论安全聚合，提出一种两轮协议：用户在第1轮和第2轮发送消息，使服务器能够计算幸存用户输入的总和，同时不泄露额外信息。关键结果是当 $ U > T $ 时，第1轮每用户通信成本最优为1个符号，第2轮每幸存用户通信成本为 $ 1/(U-T) $ 个符号，实现了对合谋服务器和最多 $ T $ 个受损用户的抗性，达到信息论安全。

ABSTRACT

In the robust secure aggregation problem, a server wishes to learn and only learn the sum of the inputs of a number of users while some users may drop out (i.e., may not respond). The identity of the dropped users is not known a priori and the server needs to securely recover the sum of the remaining surviving users. We consider the following minimal two-round model of secure aggregation. Over the first round, any set of no fewer than $U$ users out of $K$ users respond to the server and the server wants to learn the sum of the inputs of all responding users. The remaining users are viewed as dropped. Over the second round, any set of no fewer than $U$ users of the surviving users respond (i.e., dropouts are still possible over the second round) and from the information obtained from the surviving users over the two rounds, the server can decode the desired sum. The security constraint is that even if the server colludes with any $T$ users and the messages from the dropped users are received by the server (e.g., delayed packets), the server is not able to infer any additional information beyond the sum in the information theoretic sense. For this information theoretic secure aggregation problem, we characterize the optimal communication cost. When $U \leq T$, secure aggregation is not feasible, and when $U > T$, to securely compute one symbol of the sum, the minimum number of symbols sent from each user to the server is $1$ over the first round, and $1/(U-T)$ over the second round.

研究动机与目标

• 解决用户掉线不可预测且可能在多轮中发生时，联邦学习中安全求和计算的挑战。
• 建立并分析一种两轮安全聚合协议，确保即使部分用户掉线，服务器也只能获取幸存用户输入的总和。
• 刻画在信息论安全条件下的基本通信成本极限，其中服务器与最多 $ T $ 个用户合谋，并可访问所有消息，包括掉线用户的消息。
• 确定安全聚合可行的条件，特别是与阈值 $ T $ 和幸存用户最小数量 $ U $ 的关系。

提出的方法

• 协议采用两轮通信模型：第1轮中，所有 $ K $ 个用户基于其输入和共享随机性发送消息；第2轮中，仅第1轮幸存的用户发送额外消息。
• 第二轮消息根据第1轮已知的幸存用户集合自适应选择，使服务器仅能解码出幸存用户输入的总和。
• 通过信息论约束强制实现安全：即使服务器与最多 $ T $ 个用户合谋并可访问所有掉线用户的消息，其仍无法获得幸存输入总和以外的任何信息。
• 分析使用信息论不等式，包括互信息和熵界，推导消息大小和随机性需求的下限。
• 关键方程包括利用条件熵和互信息证明：当 $ U > T $ 时，第1轮每用户最小消息大小为 $ 1 $，第2轮每幸存用户最小消息大小为 $ 1/(U-T) $。
• 证明依赖于通过精心设计的场景（如仅两名用户幸存）构造信息论下界，推导出对消息和随机性大小的约束。

实验结果

研究问题

• RQ1 在何种条件下，用户掉线情况下的信息论安全聚合是可行的？
• RQ2 在两轮协议中，安全计算幸存用户输入总和所需的最低通信成本是多少？
• RQ3 当存在最多 $ T $ 个合谋用户时，如何影响带掉线的聚合通信效率？
• RQ4 即使服务器观察到掉线用户的消息，能否防止其获取总和以外的任何信息？
• RQ5 在安全、对掉线的鲁棒性与通信成本之间，最优权衡是什么？

主要发现

• 当 $ U < T+1 $ 时，信息论安全聚合不可行，即幸存用户数不足时无法满足安全约束。
• 当 $ U > T $ 时，第1轮每用户最小通信成本为1个符号，第2轮每幸存用户最小通信成本为 $ 1/(U-T) $ 个符号。
• 每用户的最小共享随机性至少为 $ K $ 个符号，这是由互信息和熵的信息论下界推导得出。
• 协议实现了信息论安全：即使服务器可完全访问掉线用户的消息，并与最多 $ T $ 个用户合谋，其仅能获取幸存输入的总和。
• 通信成本是最优的，即不存在其他协议能在满足相同安全性和正确性约束下实现更小的消息大小。