[논문 리뷰] Edge Bias in Federated Learning and its Solution by Buffered Knowledge Distillation

Sangho Lee, KiYoon Yoo외 1명|arXiv (Cornell University)|2020. 10. 20.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 5

한 줄 요약

이 논문은 지식 병합 기반 분산 학습에서 엣지 기반의 교사 모델이 독립적으로 학습함에 따라 상호 불일치하거나 과적합된 지식을 도입함으로써 중앙 모델이 이전 지식을 忘却하는 문제인 '엣지 바이어스(edge bias)'를 규명한다. 저자들은 '버퍼링된 지식 병합'(BKD)을 제안하여 버퍼에 교사 예측을 유지함으로써 편향되지 않은 지식을 선택적으로 병합함으로써, 이질적인 엣지 환경에서의 지속성과 기록된 지식의 유지를 크게 향상시킨다.

ABSTRACT

Federated learning (FL), which utilizes communication between the server (core) and local devices (edges) to indirectly learn from more data, is an emerging field in deep learning research. Recently, Knowledge Distillation-based FL methods with notable performance and high applicability have been suggested. In this paper, we choose knowledge distillation-based FL method as our baseline and tackle a challenging problem that ensues from using these methods. Especially, we focus on the problem incurred in the server model that tries to mimic different datasets, each of which is unique to an individual edge device. We dub the problem 'edge bias', which occurs when multiple teacher models trained on different datasets are used individually to distill knowledge. We introduce this nuisance that occurs in certain scenarios of FL, and to alleviate it, we propose a simple yet effective distillation scheme named 'buffered distillation'. In addition, we also experimentally show that this scheme is effective in mitigating the straggler problem caused by delayed edges.

연구 동기 및 목표

• 에지 기반의 독립적이고 잠재적으로 소규모 또는 편향된 데이터셋에서 학습된 모델이 중앙 모델에 상호 불일치하는 지식을 도입하는 문제인 '엣지 바이어스'를 규명하고 수식화하는 것.
• 비동기 분산 학습 환경에서 지속적으로 업데이트되지 않거나 편향된 엣지 모델로부터의 지식 병합으로 인해 발생하는 모델의 기록된 지식 忘却 문제를 해결하는 것.
• 모델 전체의 집합 또는 동기화가 필요 없이도 안정성과 성능을 향상시킬 수 있는 경량이고 효과적인 솔루션인 버퍼링된 지식 병합(BKD)을 제안하는 것.
• 엣지 바이어스가 분산 학습에서의 느린 엣지 문제의 근본 원인임을 입증하고, BKD가 고도로 일관된 지식만을 선택적으로 병합함으로써 그 영향을 완화함을 보여주는 것.

제안 방법

• 여러 엣지에서의 교사 모델 예측을 버퍼로 유지함으로써 일관되고 편향되지 않은 지식을 선택적으로 병합할 수 있는 '버퍼링된 지식 병합'(BKD)을 제안하는 방법.
• 여러 엣지 모델의 예측을 이동 평균 또는 버퍼로 유지하여 개별적으로 편향되거나 오래된 엣지 모델의 영향을 줄이는 안정적인 교사 신호를 형성하는 것.
• 학생 모델과 버퍼링된 교사 예측 간의 지식 병합 손실을 적용하여, 학생 모델이 더 대표성 있고 안정적인 지식 원천으로부터 학습하도록 보장하는 것.
• 버퍼를 반복적으로 갱신함으로써 새로운 엣지 데이터에 적응하면서도 느린 엣지나 과적합된 모델의 간섭을 최소화하는 동적 병합 프로세스를 도입하는 것.
• 학생 모델과 버퍼링된 교사 출력 간의 온도 조절된 교차 엔트로피 손실을 적용하여 일반화 능력을 유지하는 소프트 레이블 병합을 촉진하는 것.
• 동기화 및 비동기 엣지 업데이트 환경에서의 성능 비교를 위한 실험 설계를 통해 BKD의 비동기 환경에서의 안정성과 유연성을 검증하는 것.

실험 결과

연구 질문

• RQ1 에지 기반의 독립적이고 잠재적으로 소규모 또는 편향된 데이터셋에서 학습된 교사 모델을 사용할 경우, 분산 학습에서 지식 병합의 성능가 어떻게 저하되는가?
• RQ2 비동기 분산 학습 환경에서, 오래된 가중치를 가진 느린 엣지 모델이 교사로 사용될 경우 중앙 모델이 이전에 학습한 지식을 얼마나 忘却하는가?
• RQ3 모델 전체 집합 없이도 버퍼링된 병합 메커니즘이 엣지 바이어스의 부정적 영향을 완화하고, 모델 안정성을 향상시킬 수 있는가?
• RQ4 버퍼링된 지식 병합이 오래되거나 일관되지 않은 가중치를 가진 느린 엣지 모델로 인해 발생하는 성능 변동을 어느 정도 감소시키는가?

주요 결과

• 표준 지식 병합 기반의 분산 학습에서 엣지 바이어스는 특히 비동기화되거나 과적합된 엣지 모델에서 병합할 경우 성능을 심각하게 저하시킨다.
• 비동기 분산 학습 환경에서 느린 엣지 모델(오래된 가중치를 가진)을 교사로 사용할 경우, 일반적인 지식 병합은 높은 성능 변동을 보이며 이로 인해 이전에 학습한 지식을 상당히 忘却한다.
• 버퍼링된 지식 병합(BKD)은 성능 변동을 감소시키고, 동기화된 엣지와 느린 엣지를 번갈아가며 교사로 사용하더라도 일관된 정확도를 유지한다.
• BKD는 전체 동기화 학습 수준의 정확도를 달성하면서도 빈번한 동기화나 전체 모델 집합이 필요 없기 때문에 대규모 분산 학습 시스템에 실용적이다.
• 정보 비대칭성 또는 오래된 엣지 모델의 영향을 줄이기 위해 안정적인 버퍼링된 교사 신호에서만 지식을 선택적으로 병합함으로써, BKD는 느린 엣지 문제를 효과적으로 완화한다.
• CIFAR-100에서 2~3개 엣지에서의 실험 결과, BKD는 원래의 핵심 모델 가중치 분포에 더 가까운 학생 모델을 유지한다(예: 원래 가중치와의 상대적 거리 0.38 대비 0.44), 이는 기록된 지식의 유지를 위한 효과를 시사한다.