[論文レビュー] MixMOOD: A systematic approach to class distribution mismatch in semi-supervised learning using deep dataset dissimilarity measures.

Saúl Calderón-Ramírez, Luis Oala+5 more|arXiv (Cornell University)|Jun 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 6

ひとこと要約

MixMOODは、事前学習済みWide-ResNetの特徴空間を用いて、訓練前に行うモデルに依存しない高速なデータセット類似度評価を可能にする深層データセット類似度測定（DeDiMs）を導入することで、半教師あり学習におけるクラス分布の不一致を体系的に対処する手法を提案する。DeDiMsは、MixMatchの精度と強く相関するため、分布シフト下でも性能を向上させるために最適な未ラベルデータの選択が可能になる。

ABSTRACT

In this work, we propose MixMOOD - a systematic approach to mitigate effect of class distribution mismatch in semi-supervised deep learning (SSDL) with MixMatch. This work is divided into two components: (i) an extensive out of distribution (OOD) ablation test bed for SSDL and (ii) a quantitative unlabelled dataset selection heuristic referred to as MixMOOD. In the first part, we analyze the sensitivity of MixMatch accuracy under 90 different distribution mismatch scenarios across three multi-class classification tasks. These are designed to systematically understand how OOD unlabelled data affects MixMatch performance. In the second part, we propose an efficient and effective method, called deep dataset dissimilarity measures (DeDiMs), to compare labelled and unlabelled datasets. The proposed DeDiMs are quick to evaluate and model agnostic. They use the feature space of a generic Wide-ResNet and can be applied prior to learning. Our test results reveal that supposed semantic similarity between labelled and unlabelled data is not a good heuristic for unlabelled data selection. In contrast, strong correlation between MixMatch accuracy and the proposed DeDiMs allow us to quantitatively rank different unlabelled datasets ante hoc according to expected MixMatch accuracy. This is what we call MixMOOD. Furthermore, we argue that the MixMOOD approach can aid to standardize the evaluation of different semi-supervised learning techniques under real world scenarios involving out of distribution data.

研究の動機と目的

• 分布シフト下における未ラベルデータのクラス分布不一致が半教師あり学習の性能に与える影響、特にMixMatchにおける影響を調査すること。
• SSDLにおける未ラベルデータ選択に意味的類似度に依存することの欠陥を特定すること。
• MixMatchの期待精度を最大化するように未ラベルデータセットを選択する定量的でモデルに依存しないヒューリスティックを構築すること。
• 現実の分布シフト状況下でのSSDL手法の評価を標準化すること。

提案手法

• 著者らは、3つの多クラスタスクにわたり90の異なる分布不一致シナリオを含む包括的なOODアブレーションテストベッドを設計し、MixMatchのロバスト性を評価した。
• 彼らは、事前学習済みWide-ResNetの特徴表現を用いて、ラベル付きデータセットと未ラベル付きデータセット間の類似度を計算する深層データセット類似度測定（DeDiMs）を導入した。
• DeDiMsは訓練前に行われ、高速かつモデルに依存しないように設計されており、事前に未ラベルデータの選択が可能である。
• この手法は、DeDiMスコアに基づいて未ラベルデータセットを順位付けし、スコアが高いほど期待されるMixMatch性能が高くなる。
• ヒューリスティックな意味的類似度に依存せず、特徴空間の距離を用いてデータセットの類似度を定量化する。
• このフレームワーク（名称：MixMOOD）により、分布不一致に起因する性能低下を軽減するための体系的な未ラベルデータの選択が可能になる。

実験結果

リサーチクエスチョン

• RQ1 未ラベルデータにおけるクラス分布の不一致は、半教師あり学習におけるMixMatchの性能にどのように影響を与えるか？
• RQ2 ラベル付きデータと未ラベル付きデータの間の意味的類似度は、SSDLにおける未ラベルデータ選択の信頼できる指標となるか？
• RQ3 訓練前における深層データセット類似度測定（DeDiMs）は、MixMatchの精度を定量的に予測するのに有効か？
• RQ4 DeDiMsを用いた最適な未ラベルデータセット選択により、モデル性能はどの程度向上するか？
• RQ5 MixMOODは、現実の分布シフト状況下でSSDL手法の評価を標準化できるか？

主な発見

• ラベル付きデータと未ラベル付きデータの意味的類似度は、未ラベルデータ選択のヒューリスティックとして不適切であり、MixMatch性能を信頼性を持って予測できない。
• DeDiMスコアと実際のMixMatch精度の間に強い相関が確認され、DeDiMsがモデル性能の信頼できる予測子であることが裏付けられた。
• 提案されたMixMOODフレームワークにより、訓練前の期待精度に基づいて未ラベルデータセットを効果的かつ定量的に順位付けできるようになった。
• DeDiMsは計算が高速でモデルに依存しないため、標準的なSSDLパイプラインへの統合に適している。
• ラベル付き分布に近い未ラベルデータの選択を可能にすることで、分布シフトに対するロバストネスが向上した。
• MixMOODは、現実のOODシナリオ下でのSSDL手法の評価を標準化するプロトコルを提供し、再現性と比較可能性を高めた。