[論文レビュー] More Than Meets The Eye: Semi-supervised Learning Under Non-IID Data

Calderon-Ramirez, Saul, Luis Oala|arXiv (Cornell University)|Apr 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 5

ひとこと要約

この論文は、非IIDデータ下での半教師あり学習（SSDL）における一般的な意味的データセットマッチングの実践に挑戦し、こうしたヒューリスティクスがMixMatchのような最先端モデルですら性能を低下させることを示している。本研究では、事前に訓練されたImageNet分類器の特徴空間における密度に基づく類似度測度を用いて、より信頼性が高く定量的な基準として未ラベルデータの選択を行う手法を提案した。広範な実験と公開済みのシミュレーションサンドボックスを通じて検証された。

ABSTRACT

A common heuristic in semi-supervised deep learning (SSDL) is to select unlabelled data based on a notion of semantic similarity to the labelled data. For example, labelled images of numbers should be paired with unlabelled images of numbers instead of, say, unlabelled images of cars. We refer to this practice as semantic data set matching. In this work, we demonstrate the limits of semantic data set matching. We show that it can sometimes even degrade the performance for a state of the art SSDL algorithm. We present and make available a comprehensive simulation sandbox, called non-IID-SSDL, for stress testing an SSDL algorithm under different degrees of distribution mismatch between the labelled and unlabelled data sets. In addition, we demonstrate that simple density based dissimilarity measures in the feature space of a generic classifier offer a promising and more reliable quantitative matching criterion to select unlabelled data before SSDL training.

研究の動機と目的

• ラベル付きデータと未ラベル付きデータの間の分布不一致が半教師あり学習（SSDL）性能に与える影響を調査すること。
• 非IID設定下で未ラベルデータを選択するために用いられる意味的マッチングヒューリスティクス（例えば、クラスやカテゴリでマッチングすること）の信頼性を評価すること。
• 意味的ヒューリスティクスを上回る、定量的で特徴空間に基づく未ラベルデータ選択のための基準を構築し、検証すること。
• さまざまな分布シフトの程度でSSDLアルゴリズムをストレステストできる包括的かつ再現可能なシミュレーションサンドボックス、non-IID-SSDLを提供すること。
• 人為的にアノテートされた意味的カテゴリーよりも、深層特徴空間における単純な類似度測度が、データ選択においてより頑健な性能を示すことを実証すること。

提案手法

• 5つの自由度（ベースとなるインディストリビューションデータ、OODデータタイプ、OODデータソース、OODデータの割合、ラベル付きサンプル数）を持つ柔軟なシミュレーションサンドボックス、non-IID-SSDLを開発した。
• 多様なデータ分布不一致の下で評価するため、最先端のSSDLアルゴリズムであるMixMatchを主なモデルとして用いた。
• 事前に訓練されたWide-ResNetをImageNetで用いた特徴空間において、Minkowski距離（ℓ₁およびℓ₂）、Jensen-Shannonダイバージェンス、相関に基づく類似度測度を用いた定量的データ選択基準を提案した。
• 計算の可能性を確保するため、データのサブサンプルに対して類似度測度を計算し、Wilcoxon符号順位検定を用いて統計的有意性を検証した。
• 特徴分布の比較を通じた定性的分析を実施し、各設定ごとに10回の独立実験を実施して平均精度と分散を報告した。
• 再現可能性を確保するため、すべてのコード、スクリプト、データを公開用GitHubリポジトリで提供した。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータと未ラベル付きデータの間に分布シフトが生じる状況下で、人間が定義したカテゴリ（例：「動物」と「車両」）を用いた意味的マッチングが、SSDL性能を信頼性を持って向上させるのか？
• RQ2 最先端のSSDLモデルであるMixMatchの性能は、ラベル付きデータと未ラベル付きデータの間の分布不一致が増加するに従って、どのように低下するのか？
• RQ3 事前に訓練された分類器の深層特徴空間における密度に基づく類似度測度が、意味的マッチングの代替としてより信頼性が高く定量的な未ラベルデータ選択基準として機能できるのか？
• RQ4 観察された類似度測度は、異なるデータセット設定や実験ランにおいて統計的に有意かつ一貫性を持っているのか？
• RQ5 意味的基準と特徴空間基準に基づく未ラベルデータ選択の違いが、非IID設定下での最終モデル精度にどの程度影響を及ぼすのか？

主な発見

• 意味的マッチングヒューリスティクスはMixMatchの性能を低下させる可能性がある：例えば、ラベル付きデータにFashionMNIST、未ラベル付きデータにSVHN（OODデータ割合100％）を用いた場合、意味的マッチングでは精度が0.540±0.105に低下したが、提案手法の特徴空間法では0.794±0.056に改善された。
• 提案された特徴空間類似度測度（例：ℓ₂距離）は、すべてのデータセット組み合わせで意味的マッチングを上回る一貫した性能を示し、特徴空間においてラベル付きデータからのℓ₂距離に基づいて未ラベルデータを選択した際、最高の精度0.794±0.056を達成した。
• 統計的検定（Wilcoxon）により、類似度測度が有意であることが確認された。ほとんどの比較でp値が0.05未満であり、特徴分布の差が偶然によるものではないことが示された。
• データセットが意味的に類似している場合（例：MNISTとSVHN）でも、特徴空間距離は低かった（例：dℓ₂ = 0.011±0.006）。これは、意味的類似性が常に特徴空間の近接性に対応するわけではないことを示している。
• 特徴空間類似度測度はモデル性能と強く相関しており、距離が小さいほど精度が高くなる傾向にあり、効果的なデータ選択の予測力があることが示された。
• non-IID-SSDLサンドボックスの分析から、性能低下が単調的でないことが判明した。一部のOODデータソースは特定の設定下で性能を向上させることがあり、SSDLにおける分布シフトの複雑さが浮き彫りになった。