[論文レビュー] Does Learning from Decentralized Non-IID Unlabeled Data Benefit from Self Supervision?

Lirui Wang, Kaiqing Zhang+3 more|arXiv (Cornell University)|Oct 20, 2022

COVID-19 diagnosis using AI被引用数 6

ひとこと要約

この論文は、自己教師あり学習（SSL）が非独立同分布（non-IID）なラベルなしデータからの分散学習に有益であるかどうかを調査し、分散型SSL（Dec-SSL）がデータの非同一性に対して頑健であり、通信量を最小限に抑えながら中央集権的SSLと同等の性能を達成することを示している。これはしばしば分散型教師あり学習を上回る。本手法は、対照的学習を活用して、分散型でラベルなしで非同一なデータソース間で転送可能な表現を学習する。

ABSTRACT

Decentralized learning has been advocated and widely deployed to make efficient use of distributed datasets, with an extensive focus on supervised learning (SL) problems. Unfortunately, the majority of real-world data are unlabeled and can be highly heterogeneous across sources. In this work, we carefully study decentralized learning with unlabeled data through the lens of self-supervised learning (SSL), specifically contrastive visual representation learning. We study the effectiveness of a range of contrastive learning algorithms under decentralized learning settings, on relatively large-scale datasets including ImageNet-100, MS-COCO, and a new real-world robotic warehouse dataset. Our experiments show that the decentralized SSL (Dec-SSL) approach is robust to the heterogeneity of decentralized datasets, and learns useful representation for object classification, detection, and segmentation tasks. This robustness makes it possible to significantly reduce communication and reduce the participation ratio of data sources with only minimal drops in performance. Interestingly, using the same amount of data, the representation learned by Dec-SSL can not only perform on par with that learned by centralized SSL which requires communication and excessive data storage costs, but also sometimes outperform representations extracted from decentralized SL which requires extra knowledge about the data labels. Finally, we provide theoretical insights into understanding why data heterogeneity is less of a concern for Dec-SSL objectives, and introduce feature alignment and clustering techniques to develop a new Dec-SSL algorithm that further improves the performance, in the face of highly non-IID data. Our study presents positive evidence to embrace unlabeled data in decentralized learning, and we hope to provide new insights into whether and why decentralized SSL is effective.

研究の動機と目的

• ラベルなしで非独立同分布（non-IID）なデータを用いた分散学習において、自己教師あり学習（SSL）が恩恵をもたらすかどうかを調査すること。
• 分散型のデータソース間でのデータ非同一性に対して、Dec-SSLの頑健性を評価すること。
• 現実的で大規模な設定において、通信量とデータ制約が同じ条件下で、Dec-SSLの性能を中央集権的SSLおよび分散型教師あり学習（SL）と比較すること。
• データ非同一性が分散型SLに対しては深刻な影響を及ぼすのに対し、Dec-SSLではそれほど顕著でない理由を理解すること。
• 極度の非I-ID状態下でも性能を向上させるために、特徴の整合性とクラスタリングを活用した改善されたDec-SSLアルゴリズムを開発すること。

提案手法

• 分散環境下でコントラスト的視覚表現学習をコアなSSL目的として採用する。
• ローカルモデルの集約に、標準的な分散学習アルゴリズムであるFederated Averaging（FedAvg）を用いる。
• 高いデータ非同一性下でも表現品質を向上させるために、特徴の整合性とクラスタリング技術を導入する。
• 理論的分析により、Dec-SSLにおけるマージンとノルム制約がデータ分布のシフトに対して敏感でないことを示す。
• ImageNet-100、MS-COCO、および実世界のロボット倉庫データセットを用いて、多様でラベルなしのデータに対して本手法を検証する。
• 一般化を保証するために、学習済み表現のマージンとノルムを束縛する正規化された解を適用する。

実験結果

リサーチクエスチョン

• RQ1 データがラベルなしで非独立同分布（non-IID）である場合、自己教師あり学習（SSL）は分散学習を改善するか？
• RQ2 同じ通信量とデータ制約下で、Dec-SSLの性能は中央集権的SSLおよび分散型教師あり学習と比べてどうなるか？
• RQ3 なぜデータ非同一性が分散型SSLに対して深刻な影響を及ぼすのに対し、Dec-SSLではそれほど顕著でないのか？
• RQ4 特徴の整合性とクラスタリング技術は、極度に非I-IDな状況下でDec-SSLの性能をさらに向上させられるか？
• RQ5 どのような理論的性質が、Dec-SSLがデータ分布のシフトに対して頑健であることを説明するか？

主な発見

• Dec-SSLは、通信量とデータ保存コストを大幅に削減した状況下でも、中央集権的SSLと同等の性能を達成する。
• 同じデータ量が使用される状況下で、特にラベルが入手困難または高コストである場合には、Dec-SSLは分散型教師あり学習を上回る。
• 高いデータ非同一性に対しても頑健であり、参加するデータソースの少数しか存在しない場合でも、性能の低下が最小限に抑えられる。
• 理論的分析により、学習済み表現のマージンとノルムが非I-IDデータ下でも安定していることが示され、Dec-SSLの頑健性が説明される。
• 特徴の整合性とクラスタリング技術は、極度に非I-IDなデータにおいて性能をさらに向上させ、実世界の設定での有効性が検証された。
• ImageNet-100およびMS-COCOにおいて、Dec-SSLは分類、検出、セグメンテーションなどの下流タスクにおいても良好に一般化する。