[논문 리뷰] Does Learning from Decentralized Non-IID Unlabeled Data Benefit from Self Supervision?

Lirui Wang, Kaiqing Zhang외 3명|arXiv (Cornell University)|2022. 10. 20.

COVID-19 diagnosis using AI인용 수 6

한 줄 요약

이 논문은 비독립 동일 분포가 아닌 비라벨 데이터에서 분산 학습에 자기지도 학습(self-supervised learning, SSL)이 유용한지 조사한다. 실험을 통해 분산 자기지도 학습(Dec-SSL)이 데이터 이질성에 강건하며, 통신 비용을 최소화하고 FedAvg를 사용함으로써 중심 집중식 SSL 수준의 성능을 달성함을 입증한다. 이는 종종 분산 지도 학습보다도 뛰어나다. 이 방법은 분산된 비라벨 이질성 데이터 소스 간의 이식 가능한 표현을 학습하기 위해 대비 학습(contrastive learning)을 활용한다.

ABSTRACT

Decentralized learning has been advocated and widely deployed to make efficient use of distributed datasets, with an extensive focus on supervised learning (SL) problems. Unfortunately, the majority of real-world data are unlabeled and can be highly heterogeneous across sources. In this work, we carefully study decentralized learning with unlabeled data through the lens of self-supervised learning (SSL), specifically contrastive visual representation learning. We study the effectiveness of a range of contrastive learning algorithms under decentralized learning settings, on relatively large-scale datasets including ImageNet-100, MS-COCO, and a new real-world robotic warehouse dataset. Our experiments show that the decentralized SSL (Dec-SSL) approach is robust to the heterogeneity of decentralized datasets, and learns useful representation for object classification, detection, and segmentation tasks. This robustness makes it possible to significantly reduce communication and reduce the participation ratio of data sources with only minimal drops in performance. Interestingly, using the same amount of data, the representation learned by Dec-SSL can not only perform on par with that learned by centralized SSL which requires communication and excessive data storage costs, but also sometimes outperform representations extracted from decentralized SL which requires extra knowledge about the data labels. Finally, we provide theoretical insights into understanding why data heterogeneity is less of a concern for Dec-SSL objectives, and introduce feature alignment and clustering techniques to develop a new Dec-SSL algorithm that further improves the performance, in the face of highly non-IID data. Our study presents positive evidence to embrace unlabeled data in decentralized learning, and we hope to provide new insights into whether and why decentralized SSL is effective.

연구 동기 및 목표

• 비라벨이면서 비독립 동일 분포인 데이터에서 자기지도 학습(SSL)이 분산 학습에 유용한지 조사한다.
• 다양한 분산 소스 간 데이터 이질성에 대해 Dec-SSL의 강건성을 평가한다.
• 실제로 큰 규모의 환경에서 중심 집중식 SSL과 분산 지도 학습(SL)과의 성능을 비교한다.
• 왜 데이터 이질성이 분산 지도 학습보다 Dec-SSL에서는 덜 악영향을 미치는지 이해한다.
• 특징 정렬과 군집 기법을 활용해 극한의 비독립 동일 분포 조건에서도 성능을 향상시킬 수 있는 개선된 Dec-SSL 알고리즘을 개발한다.

제안 방법

• 분산 환경에서 핵심 SSL 목표로 대비 시각 표현 학습을 사용한다.
• 로컬 모델을 집계하기 위해 표준 분산 학습 알고리즘인 페더레이티드 어버리징(FedAvg)을 사용한다.
• 높은 데이터 이질성 조건에서 표현 품질을 향상시키기 위해 특징 정렬 및 군집 기법을 도입한다.
• 이론적 분석을 통해 Dec-SSL에서 마진과 노름 제약이 데이터 분포 이동에 덜 민감함을 보여준다.
• 다양한 비라벨 데이터를 포함한 ImageNet-100, MS-COCO 및 실제 로봇 창고 데이터셋에서 접근 방식을 검증한다.
• 학습된 표현의 마진과 노름을 제한하기 위해 정규화된 해법을 적용하여, 비독립 동일 분포 데이터 조건에서도 일반화가 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 비라벨이면서 비독립 동일 분포인 데이터에서 자기지도 학습이 분산 학습에 유용한가?
• RQ2 동일한 통신 및 데이터 제약 조건에서 Dec-SSL 성능이 중심 집중식 SSL 및 분산 지도 학습과 비교해 어떻게 되는가?
• RQ3 왜 데이터 이질성이 분산 지도 학습보다 Dec-SSL에서는 덜 악영향을 미치는가?
• RQ4 특징 정렬 및 군집 기법이 극한의 비독립 동일 분포 조건에서 Dec-SSL 성능을 더욱 향상시킬 수 있는가?
• RQ5 어떤 이론적 성질이 Dec-SSL의 데이터 분포 이동에 대한 강건성을 설명하는가?

주요 결과

• Dec-SSL은 통신 비용과 데이터 저장 비용을 크게 줄였음에도 중심 집중식 SSL 수준의 성능을 달성한다.
• 동일한 양의 데이터를 사용할 때, 라벨가용성이 없거나 비용이 많이 들 경우, Dec-SSL은 분산 지도 학습을 능가한다.
• 높은 데이터 이질성 조건에서도 강건성을 유지하며, 참가하는 데이터 소스의 비율이 매우 낮은 경우에도 성능 저하가 최소한이다.
• 이론적 분석을 통해 학습된 표현의 마진과 노름이 비독립 동일 분포 조건에서도 안정적임을 확인하여 Dec-SSL의 강건성을 설명한다.
• 특징 정렬 및 군집 기법은 극한의 비독립 동일 분포 데이터에서 성능 향상을 추가로 이끌어내며, 실제 환경에서의 효과성을 입증한다.
• ImageNet-100과 MS-COCO에서 Dec-SSL은 분류, 검출, 세그멘테이션과 같은 후속 작업으로도 잘 일반화된다.