[논문 리뷰] SAFE: Secure Aggregation with Failover and Encryption

Thomas Sandholm, Sayandev Mukherjee외 1명|arXiv (Cornell University)|2021. 08. 12.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 학습자를 순환 구조로 연결하고, 단일 초기화자가 무작위 마스크를 적용하며, 컨트롤러는 메시지 브로커링 기능에만 국한하는 안전한 분산 학습을 위한 집계 프로토콜인 SAFE를 제안한다. 36개 노드에서 최신 기술 대비 70배 빠른 집계를 달성하며, 통신 오버헤드를 줄이고 효율적인 장애 복구 기능을 제공함으로써, IoT 게이트웨이와 같은 자원이 제한된 장치에서도 효율적인 성능을 유도한다.

ABSTRACT

We propose and experimentally evaluate a novel secure aggregation algorithm targeted at cross-organizational federated learning applications with a fixed set of participating learners. Our solution organizes learners in a chain and encrypts all traffic to reduce the controller of the aggregation to a mere message broker. We show that our algorithm scales better and is less resource demanding than existing solutions, while being easy to implement on constrained platforms. With 36 nodes our method outperforms state-of-the-art secure aggregation by 70x, and 56x with and without failover, respectively.

연구 동기 및 목표

• 자원이 제한되고 안정적인 학습자를 포함한 조직 간 분산 학습에서의 기밀성 및 확장성 문제를 해결하기 위해.
• 컨트롤러의 참여를 메시지 라우팅 기능으로만 국한하여 신뢰도와 자원 사용량을 최소화하기 위해.
• 모든 노드에서 비밀 재계산이 필요하지 않은 채로 효율적인 장애 복구 기능을 제공하기 위해.
• IoT 게이트웨이 및 임베디드 시스템과 같은 저성능 장치에서의 성능 최적화를 위해.
• 서브그룹화와 암호 기반 압축을 통해 확장성을 향상시키기 위해.

제안 방법

• 모든 학습자가 논리적 체인 구조로 구성되며, 각 학습자는 암호화된 업데이트를 다음 학습자에게 전달하고, 초기화자가 모든 모델 업데이트에 대해 단일 무작위 마스크를 적용한다.
• 모든 통신은 공개 키密码 기반 암호화를 통해 종단 간 암호화되어, 컨트롤러가 개별 모델 파라미터에 접근할 수 없도록 보장한다.
• 컨트롤러는 집계 계산에 참여하지 않고 메시지 브로커이자 진행 상황 모니터링자로만 기능한다.
• 장애 발생 시 복구를 위해 장애 지점에서 다시 암호화하고 메시지를 재라우팅함으로써, 복구에 참여하는 노드 수를 최소화한다.
• 다중 체인을 통해 병렬 집계를 가능하게 하여 대규모 노드 수에서 처리량을 향상시키기 위해 서브그룹화 기법을 도입한다.
• OpenWrt와 같은 자원이 제한된 플랫폼에서도 호환 가능하도록 경량 프리미티브(기본 유틸리티, OpenSSL)를 사용하여 프로토콜를 구현한다.

Figure 1 : Overview of our secure aggregation method.

실험 결과

연구 질문

• RQ1 컨트롤러의 신뢰도와 자원 사용량을 최소화하면서도 효율적인 장애 복구 기능을 갖춘 안전한 집계 프로토콜를 설계할 수 있는가?
• RQ2 단일 마스크 기반의 체인 기반 접근 방식이, 쌍별 마스크 기반 방식에 비해 자원이 제한된 장치에서 성능과 내구성 면에서 어떻게 비교되는가?
• RQ3 서브그룹화 기법이 대규모 분산 학습 환경에서 확장성 향상과 집계 지연 감소에 얼마나 기여하는가?
• RQ4 종단 간 암호화가 안전한 집계 파이프라인에서 저전력 엣지 장치에 미치는 성능 오버헤드는 어느 정도인가?
• RQ5 모든 비밀 재공유나 전역 재계산이 필요 없이, 프로토콜는 노드 장애를 어떻게 처리하는가?

주요 결과

• 36개 노드에서 SAFE는 최신 기술 대비 70배 빠른 성능 향상을 달성하였으며, 장애 복구 기능 유무에 관계없이 동일한 성능 향상을 보였다.
• 쌍별 비밀 공유 및 전역 복구 메커니즘의 필요성을 제거함으로써 자원 소비를 줄였다.
• OpenWrt 기반 액세스 포인트와 같은 자원이 제한된 장치에서도 coreutils와 OpenSSL만으로 효율적으로 구현 가능하여, 저성능 플랫폼에의 배포를 가능하게 하였다.
• 4개의 병렬 그룹을 사용한 서브그룹화로, 12개 노드, 1개 특성에서의 집계 시간을 약 4.5초에서 약 2초로 단축시켜 처리량 향상이著명하게 나타났다.
• SAFE와 이전 기술 간 성능 교차점은 5에서 10개 특성 사이에서 발생하여, 중간 차원의 모델 업데이트에 대해 매우 높은 효율성을 보였다.
• 3에서 100개 노드 이내의 서브그룹에서는 프로토콜가 실용적이지만, 이 범위를 초월해 확장하기 위해서는 계층적 분산 학습이 권장된다.

Figure 2 : Round 1 Aggregation: logical communication chain.