[논문 리뷰] RPN: A Residual Pooling Network for Efficient Federated Learning

Anbu Huang, Yuanyuan Chen외 3명|arXiv (Cornell University)|2020. 01. 23.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 피드재이티드 러닝을 위한 새로운 엔드 투 엔드 압축 전략인 리지두얼 풀링 네트워크(RPN)를 제안한다. RPN은 모델 파라미터를 선택적으로 근사화하고 잘라내어 통신 비용을 줄인다. 이미지 분류 작업에서는 정확도가 1% 감소하는 데 그치면서도 파라미터 전송량을 최대 80%까지 줄였고, 의미적 세그멘테이션 작업에서는 최대 44% 감소시켰으며, 다양한 CNN 기반 작업에서 거의 최신 기술 수준의 성능을 유지한다.

ABSTRACT

Federated learning is a distributed machine learning framework which enables different parties to collaboratively train a model while protecting data privacy and security. Due to model complexity, network unreliability and connection in-stability, communication cost has became a major bottleneck for applying federated learning to real-world applications. Current existing strategies are either need to manual setting for hyperparameters, or break up the original process into multiple steps, which make it hard to realize end-to-end implementation. In this paper, we propose a novel compression strategy called Residual Pooling Network (RPN). Our experiments show that RPN not only reduce data transmission effectively, but also achieve almost the same performance as compared to standard federated learning. Our new approach performs as an end-to-end procedure, which should be readily applied to all CNN-based model training scenarios for improvement of communication efficiency, and hence make it easy to deploy in real-world application without much human intervention.

연구 동기 및 목표

• 자주 발생하는 모델 파라미터 교환으로 인한 피드재이티드 러닝의 높은 통신 비용 문제를 해결하기 위해.
• 수동적인 하이퍼파라미터 튜닝 없이 업로드 및 다운로드 트래픽을 모두 줄일 수 있는 일반적이고 엔드 투 엔드 압축 전략을 개발하기 위해.
• CNN 기반 피드재이티드 러닝에서 모델 크기와 전송량을 크게 줄이면서도 높은 모델 성능을 유지하기 위해.
• 복잡한 다단계 압축 파이프라인을 피함으로써 실세계 시스템에 실용적으로 구현 가능하게 하기 위해.

제안 방법

• RPN은 핵심 모델 파라미터를 선택적으로 유지하고 근사화하는 잔차 풀링 메커니즘을 도입하여 각 통신 라운드에서 전송되는 파라미터 수를 줄인다.
• 이 방법은 파라미터 선택 및 근사화를 미분 가능하고 엔드 투 엔드로 훈련 가능한 방식으로 수행하여 모델 정확도와 통신 효율성을 동시에 최적화할 수 있다.
• RPN은 CNN 아키텍처 내부에 플러그인 압축 레이어로 적용되어 기존 피드재이티드 러닝 프레임워크에 원활하게 통합될 수 있다.
• 암호화 기반 방법에 의존하지 않고, 대신 구조적 파라미터 제거와 근사화에 초점을 맞춰 데이터 양을 줄인다.
• 압축은 클라이언트에서 서버로 모델 업로드 시와 서버에서 클라이언트로 모델 다운로드 시 양방향으로 적용되어 총 통신 오버헤드를 최소화한다.
• 프레임워크는 엔드 투 엔드로 훈련되어 수동 설정이나 별도의 최적화 단계가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 모델 성능을 희생시키지 않고도 피드재이티드 러닝에서 업로드 및 다운로드 통신 비용을 모두 줄일 수 있는 압축 전략을 설계할 수 있는가?
• RQ2 수동 하이퍼파라미터 튜닝과 복잡한 다단계 파이프라인을 피할 수 있는 엔드 투 엔드로 훈련 가능한 압축 메커니즘을 개발할 수 있는가?
• RQ3 다양한 컴퓨터 비전 작업에서 높은 정확도를 유지하면서도 모델 크기와 통신량을 얼마나 줄일 수 있는가?
• RQ4 실세계 피드재이티드 러닝 환경에서 분류, 객체 검출, 의미적 세그멘테이션 작업에 대해 제안된 방법의 효과는 어떠한가?

주요 결과

• MNIST 분류 작업에서 RPN은 모델 파라미터를 61,895,776에서 12,382,560으로 줄여 전송량을 80% 감소시켰고, 정확도는 0.7077에서 0.7002 mAP로 1% 감소에 그쳤다.
• YOLOv3를 사용한 PASCAL VOC에서의 객체 검출 작업에서는 RPN이 파라미터를 80% 감소시켰지만 원본 mAP의 98.9%를 유지하여 복잡한 모델에서도 뛰어난 성능 유지 능력을 입증했다.
• FCN-ResNet50를 사용한 의미적 세그멘테이션 작업에서는 파라미터를 23,577,621에서 13,325,281로 줄여 44% 감소시켰고, 평균 IOU는 2.6% 감소, 픽셀 정확도는 1.16% 감소에 그쳤다.
• 초기 훈련 단계에서 성능 변동이 최소화되고 안정적인 수렴을 보여, 실세계 구현에서의 강건성과 신뢰성을 입증했다.
• 분류, 객체 검출, 의미적 세그멘테이션 등 다양한 작업에서 일관된 성능을 보여, RPN이 CNN 기반 피드재이티드 러닝에 일반화 가능함을 확인했다.