[논문 리뷰] FLAIR: Federated Learning Annotated Image Repository

Congzheng Song, Filip Granqvist외 1명|arXiv (Cornell University)|2022. 07. 18.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FLAIR는 51,414명의 실제 플리커 사용자로부터 확보한 429,078张의 이미지를 포함한 대규모 다중 레이블 이미지 데이터셋으로, 장기적 라벨 분포, 사용자 데이터 이질성, 특징 편향 등의 현실적인 조건에서 피어드된 학습(federated learning)을 평가하기 위해 설계되었다. 본 논문은 중심화된 학습, 피어드된 학습, 그리고 차별적 비밀유지 학습에 대한 재현 가능한 베이스라인을 제안하며, 데이터 불균형과 노이즈로 인해 피어드된 학습 및 비밀유지 설정에서 희귀 클래스의 모델 성능이 크게 떨어지는 것을 입증한다.

ABSTRACT

Cross-device federated learning is an emerging machine learning (ML) paradigm where a large population of devices collectively train an ML model while the data remains on the devices. This research field has a unique set of practical challenges, and to systematically make advances, new datasets curated to be compatible with this paradigm are needed. Existing federated learning benchmarks in the image domain do not accurately capture the scale and heterogeneity of many real-world use cases. We introduce FLAIR, a challenging large-scale annotated image dataset for multi-label classification suitable for federated learning. FLAIR has 429,078 images from 51,414 Flickr users and captures many of the intricacies typically encountered in federated learning, such as heterogeneous user data and a long-tailed label distribution. We implement multiple baselines in different learning setups for different tasks on this dataset. We believe FLAIR can serve as a challenging benchmark for advancing the state-of-the art in federated learning. Dataset access and the code for the benchmark are available at \url{https://github.com/apple/ml-flair}.

연구 동기 및 목표

• 피어드된 학습을 위해 특화된 현실적이고 대규모의 이미지 데이터셋이 부족한 문제를 해결하기 위해, 실제 세계의 데이터 이질성과 규모를 반영한 데이터셋을 구축한다.
• 비독립identically distributed (non-IID) 데이터, 장기적 라벨 분포, 차별적 비밀유지와 같은 실질적 과제를 고려한 피어드된 학습 모델 평가를 위한 벤치마크를 제공한다.
• 표준화된 메트릭과 학습 설정을 통해 피어드된 학습에서의 개인정보-성능-효율성 트레이드오���의 체계적 평가를 가능하게 한다.
• 실제 세계의 데이터 특성(예: 데이터 이질성, 노이즈)을 반영한 분산 환경에서의 클래스 불균형, 소수 샘플 학습, 노이즈에 강건한 학습에 대한 연구를 지원한다.

제안 방법

• 실제 플리커 사용자 51,414명으로부터 429,078장의 이미지를 수집하여, 다양한 사용자 수준의 데이터 분포와 현실적인 사용자 분할을 확보한다.
• 이중 계층의 레이블 구조(17개의 굵은 클래스와 1,628개의 세분화된 클래스)를 사용하여 다수의 수준에서의 벤치마킹을 가능하게 한다.
• 중앙집중형 학습, 표준 피어드된 학습, 그리고 중앙에서 차별적 비밀유지를 적용한 피어드된 학습을 포함한 다양한 학습 설정을 구현한다.
• 피어드된 학습 중 모델 업데이트에 차별적 비밀유지를 적용하여 개인정보-성능 트레이드오프를 평가한다.
• 기본 모델 아키텍처로 ResNet18을 사용하고, 검증 및 테스트 세트에서 평균 평균 정확도(mAP)를 사용하여 성능을 평가한다.
• 재현 가능성을 보장하고 커뮤니티의 수용을 촉진하기 위해 GitHub를 통해 오픈소스 코드와 데이터셋 접근 권한을 제공한다.

실험 결과

연구 질문

• RQ1 실제로 이질적인 이미지 데이터셋에서 중심화된 학습, 피어드된 학습, 차별적 비밀유지 학습의 다양한 학습 철학에 따라 모델 성능은 어떻게 변화하는가?
• RQ2 사용자 분할된 데이터에서의 레이블 불균형과 데이터 이질성이 피어드된 학습에서 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ3 차별적 비밀유지는 특히 피어드된 학습 환경에서 희귀 클래스와 세분화된 클래스의 정확도에 어떤 영향을 미치는가?
• RQ4 사전 학습된 모델(예: ImageNet)이 피어드된 환경에서 장기적 라벨 분포와 세분화된 분류 작업의 성능을 향상시킬 수 있는가?
• RQ5 이 데이터셋에서 차별적 비밀유지 피어드된 학습의 경우, 코hort 크기와 노이즈 스케일은 모델 수렴과 정확도에 어떤 영향을 미치는가?

주요 결과

• 세분화된 1,628개 클래스 분류 체계에서의 모델 성능은 굵은 17개 클래스 분류 체계보다 유의미하게 낮았으며, 검증 및 테스트 세트에서 11개 클래스는 훈련 중에 완전히 미리보지 못한 상태였다.
• 1,628개의 세분화된 클래스 중 134개는 훈련 세트에서 20개 이하의 양성 예시를 가지며, 중심화된 학습과 피어드된 학습 모두에서 도전적인 과제가 되었다.
• 차별적 비밀유지는 특히 피어드된 환경에서 희귀 클래스에서 신호 대 노이즈 비율이 낮은 희박한 기울기로 인해 성능 저하를 악화시켰다.
• 차별적 비밀유지 피어드된 학습에서 더 큰 코hort 크기는 노이즈를 감소시키고 정확도를 향상시켰지만, 학습 지연을 증가시켰다.
• 희귀 빈도 클래스에서의 성능은 중심화된 학습보다 피어드된 학습에서 더 열 劣하였으며, 데이터 이질성과 개인정보 보호 메커니즘의 복합적 영향을 드러냈다.
• FLAIR의 장기적 라벨 분포는 소수 샘플 및 제로 샘플 피어드된 학습 연구의 발전을 위한 적합한 벤치마크로 적합하다.