[논문 리뷰] FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization

Zhen Wang, Weirui Kuang외 3명|arXiv (Cornell University)|2022. 06. 08.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 논문은 연합 하이퍼파ram터 최적화 (HPO)를 위한 종합적인 벤치마크 세트인 FedHPO-B를 소개한다. 이는 연합 학습 (FL) 환경에서 HPO에 대한 표준화된 평가 도구가 부족한 문제를 해결하기 위해 개발되었다. FederatedScope 플랫폼 기반으로 제작된 FedHPO-B는 다양한 FL 작업을 지원하며, 표본화 및 서rogate 모드를 통해 효율적인 함수 평가를 가능하게 하고, 현실적인 비용 추정을 위한 설정 가능한 시뮬레이션을 제공함으로써 재현 가능하고 확장 가능한 FedHPO 방법의 평가를 가능하게 한다.

ABSTRACT

Hyperparameter optimization (HPO) is crucial for machine learning algorithms to achieve satisfactory performance, whose progress has been boosted by related benchmarks. Nonetheless, existing efforts in benchmarking all focus on HPO for traditional centralized learning while ignoring federated learning (FL), a promising paradigm for collaboratively learning models from dispersed data. In this paper, we first identify some uniqueness of HPO for FL algorithms from various aspects. Due to this uniqueness, existing HPO benchmarks no longer satisfy the need to compare HPO methods in the FL setting. To facilitate the research of HPO in the FL setting, we propose and implement a benchmark suite FedHPO-B that incorporates comprehensive FL tasks, enables efficient function evaluations, and eases continuing extensions. We also conduct extensive experiments based on FedHPO-B to benchmark a few HPO methods. We open-source FedHPO-B at https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB.

연구 동기 및 목표

• 연합 하이퍼파aram터 최적화 (FedHPO)를 위한 표준화된 벤치마크의 부재를 해결함으로써, FL 환경에서 공정하고 재현 가능한 방법 비교에 기여하기 위해.
• 데이터 분포의 특성과 통신 오버헤드와 같은 고유한 제약 조건으로 인해 중심 집중형 HPO와는 다름을 밝혀내기 위해.
• 다양한 FL 작업과 구성에서 FedHPO 방법의 포괄적이고 효율적이며 확장 가능한 평가를 지원하는 벤치마크 세트를 설계하기 위해.
• 표본화, 서rogate, 시뮬레이션 실행 모드를 통해 정확한 평가와 근사 평가를 모두 가능하게 하여 현실적인 성능 추정을 가능하게 하기 위해.
• 오픈소스 FederatedScope 플랫폼과의 통합을 통해 커뮤니티의 도입과 확장을 촉진하기 위해.

제안 방법

• FedHPO-B는 FederatedScope FL 플랫폼의 확장으로서 구현되었으며, 기존 인프라를 활용하여 원활한 통합과 확장성을 확보하였다.
• 벤치마크는 다양한 분야의 다양한 FL 작업을 포함하며, 모델 아키텍처(예: MLP, CNN, BERT)와 데이터 이질성 수준을 모두 수용한다.
• 세 가지 평가 모드를 지원한다: 표본화 모드(사전 계산된 결과), 서rogate 모드(학습된 모델을 통한 빠른 근사), 시뮬레이션 모드(유연한 시스템 모델 설정 및 현실적인 통신 비용 추적).
• 시스템 모델은 참가자 이질성(다양한 데이터 크기, 모델 업데이트 빈도, 통신 지연 등)을 설정 가능하게 하여 실제 FL 환경을 모의할 수 있다.
• 함수 평가는 컨테이너 기반 환경을 통해 재현 가능한 실행을 봉인하여 플랫폼 간 일관성을 확보한다.
• 벤치마크는 https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB 에서 오픈소스로 공개되어 커뮤니티 기여와 장기적 유지보수를 장려한다.

실험 결과

연구 질문

• RQ1 데이터 분포의 특성과 통신 오버헤드라는 고유한 제약 조건을 고려할 때, 기존의 HPO 방법은 연합 학습 워크로드에 대해 어떻게 성능을 발휘하는가?
• RQ2 기존의 HPO 벤치마크가 작업 설정이 맞지 않아 FedHPO 방법의 진정된 성능을 포착하지 못하는 정도는 어느 정도인가?
• RQ3 서rogate 모델과 표본화 모드는 정확한 FedHPO 평가를 근사하면서도 성능 순위 유지 정확도를 얼마나 잘 유도하는가?
• RQ4 다양한 데이터 이질성과 시스템 구성은 FL 환경에서 HPO 방법의 수렴성과 강건성에 어떤 영향을 미치는가?
• RQ5 모듈러하고 확장 가능한 벤치마크 프레임워크는 새로운 FedHPO 알고리즘의 개발과 평가를 가속화할 수 있는가?

주요 결과

• FedHPO-B는 FEMNIST, BERT, OpenML 벤치마크를 포함한 다양한 FL 작업에서 일관되고 재현 가능한 HPO 방법 평가를 가능하게 하였으며, 다양한 런타임 환경에서도 결과가 안정되었다.
• 서rogate 모드에서 TPE-HB(계층적 베이지안을 사용한 TPE)와 TPE-MD(다중 분포를 사용한 TPE) 전략이 FEMNIST CNN 벤치마크에서 가장 낮은 최종 검증 손실(0.0458)을 기록하여 다른 방법들을 압도했다.
• BERT CoLA 벤치마크에서 TPE-MD는 최고의 서rogate 모드 성능(0.3687)을 기록했으며, 무작위 탐색(0.5013)과 다른 베이지안 최적화 변종보다 뚜렷이 뛰어났다.
• 시간에 따른 평균 순위 분석 결과, BOHB와 DEHB는 FedAvg 및 FedOPT 설정 모두에서 여러 벤치마크(예: LR, MLP, FEMNIST)에서 일관되게 상위에 위치한 메서드로 나타났다.
• 벤치마크의 시뮬레이션 모드는 실제 분산 환경에서의 통신 비용을 정확하게 반영하였으며, 실행 시간 추적 결과가 실제 배포 오버헤드와 잘 일치하였다.
• 오픈소스로 공개된 FedHPO-B 프레임워크는 새로운 작업과 HPO 방법으로 성공적으로 확장되었으며, 커뮤니티의 넓은 도입과 확장 가능성의 강력한 증거를 보였다.