[논문 리뷰] Compressed-VFL: Communication-Efficient Learning with Vertically Partitioned Data

Timothy Castiglia, Anirban Das외 2명|arXiv (Cornell University)|2022. 06. 16.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 수직 분할된 데이터에서 통신 비용을 줄이기 위한 통신 효율적인 프레임워크인 압축된 수직联邦학습(C-VFL)을 제안한다. 참여자들은 모델 임bedding을 압축하여 공유함으로써 통신량을 90% 이상 감소시키지만 정확도 손실은 최소한도로 유지한다. 본 논문은 VFL에서 임베딩 압축에 대한 최초의 이론적 수렴 분석을 제공하며, 압축 오차가 유계일 경우 $O(1/√{T})$ 수렴 속도를 증명하고, 양자화 및 상위-$k$ 희소화와 같은 기법을 사용할 때 수렴이 유지되는 조건을 규명한다.

ABSTRACT

We propose Compressed Vertical Federated Learning (C-VFL) for communication-efficient training on vertically partitioned data. In C-VFL, a server and multiple parties collaboratively train a model on their respective features utilizing several local iterations and sharing compressed intermediate results periodically. Our work provides the first theoretical analysis of the effect message compression has on distributed training over vertically partitioned data. We prove convergence of non-convex objectives at a rate of $O(\frac{1}{\sqrt{T}})$ when the compression error is bounded over the course of training. We provide specific requirements for convergence with common compression techniques, such as quantization and top-$k$ sparsification. Finally, we experimentally show compression can reduce communication by over $90\%$ without a significant decrease in accuracy over VFL without compression.

연구 동기 및 목표

• 수직 분할된 데이터에서 큰 임베딩으로 인한 수직 연합학습(VFL)의 높은 통신 비용을 해결한다.
• 기존 수평 연합학습에서의 기울기 압축과는 달리, 중간 단계의 임베딩을 압축하여 VFL에서 통신 효율성을 높인다.
• 임베딩 압축을 적용한 VFL에 대한 최초의 이론적 수렴 분석을 제공하며, 수렴이 유지되는 조건을 규명한다.
• 일반적인 기법인 양자화 및 상위-$k$ 희소화에 대해 압축 파라미터의 구체적 범위를 유도하여 실용적 적용 가능성을 확보한다.
• 실험적으로 압축이 통신량을 90% 이상 감소시키면서도 모델 정확도에 거의 영향을 주지 않음을 입증한다.

제안 방법

• C-VFL은 다수의 국소 반복(예: Q > 1)을 사용하는 블록좌표강하 기법을 적용하여 전역 통신 주기를 감소시킨다.
• 참여자들은 신경망을 통해 국소 임베딩을 계산하고, 이후에 양자화나 상위-$k$ 희소화와 같은 기법을 사용해 압축하여 서버에 전송한다.
• 서버는 압축된 임베딩을 집계하고 전역 손실을 계산한 후, 각 참여자의 임베딩에 대한 기울기만을 다시 전송하여 통신을 줄인다.
• 각 참여자는 체인 규칙을 사용해 국소 기울기를 계산한다: $\nabla_{m}F = \nabla_{\theta_{m}}h_{m} \cdot \nabla_{h_{m}}F$로, 이는 국소 모델 업데이트를 가능하게 한다.
• 이 프레임워크는 임의의 서버 모델을 지원하며, 임베딩 수준에서의 압축을 가능하게 함으로써 기존 VFL 방법을 일반화한다.
• 두 가지 알고리즘 변형을 사용한다: Q > 1일 경우에 사용하는 알고리즘 1(다중 국소 단계), Q = 1일 경우에 사용하는 알고리즘 2(각 라운드당 한 번의 압축된 임베딩 전송).

실험 결과

연구 질문

• RQ1 VFL에서 임베딩 압축이 모델 수렴이나 정확도를 떨어뜨리지 않으면서도 상당한 통신 감소를 달성할 수 있는가?
• RQ2 압축 오차에 대해 어떤 이론적 조건이 VFL에서 압축된 임베딩를 사용할 때 전역 모델의 수렴을 보장하는가?
• RQ3 일반적인 압축 기법인 양자화 및 상위-$k$ 희소화는 VFL에서 수렴에 어떤 영향을 미치며, 어떤 파라미터 설정이 수렴을 보장하는가?
• RQ4 C-VFL에서 다수의 국소 반복(Q > 1)을 사용하면 단일 반복 전송 대비 총 통신 비용을 줄일 수 있는가, 비록 각 라운드 비용은 높아지더라도?
• RQ5 실제 데이터셋인 MIMIC-III에서 C-VFL은 통신량을 90% 이상 줄이면서도 높은 모델 정확도를 유지할 수 있는가?

주요 결과

• MIMIC-III 데이터셋에서 C-VFL은 비압축 VFL 대비 통신 비용을 90% 이상 감소시키며, 정확도 저하가 거의 없이 성능을 유지한다.
• 목표 F1-스코어 0.4에 도달하기 위한 통신 비용은 비압축일 경우 4517.59 MB에서 Q=25일 때 3비트 벡터 양자화를 사용하면 125.09 MB로 감소한다.
• Q=1일 경우 알고리즘 2는 라운드당 통신 비용을 줄이지만 더 많은 전역 라운드가 필요하여 Q>1인 알고리즘 1보다 총 통신 비용이 더 높다.
• 이론적 분석을 통해 압축 오차가 유계일 경우 $O(1/\sqrt{T})$ 수렴 속도를 확보하며, 비압축 VFL 성능과 동일한 수준이다.
• 양자화의 경우 3비트 표현은 압축 오차가 유계일 때 수렴을 보장한다. 상위-$k$ 희소화의 경우 희소화 수준이 충분히 높아야 수렴이 유지된다.
• 실험 결과, Q>1를 사용할 경우 더 높은 라운드당 비용이 발생하지만, 필요한 전역 라운드 수가 줄어들어 총 통신 비용을 Q=1보다 크게 감소시킨다.