[論文レビュー] Not All Unlabeled Data are Equal: Learning to Weight Data in Semi-supervised Learning

Zhongzheng Ren, Raymond A. Yeh+1 more|arXiv (Cornell University)|Jul 2, 2020

Machine Learning and Data Classification被引用数 33

ひとこと要約

本論文は、影響関数を用いて SSL における未ラベルデータの個別事例ウェイトを自動調整し、画像およびテキスト分類タスクの性能を向上させることを提案する。

ABSTRACT

Existing semi-supervised learning (SSL) algorithms use a single weight to balance the loss of labeled and unlabeled examples, i.e., all unlabeled examples are equally weighted. But not all unlabeled data are equal. In this paper we study how to use a different weight for every unlabeled example. Manual tuning of all those weights -- as done in prior work -- is no longer possible. Instead, we adjust those weights via an algorithm based on the influence function, a measure of a model's dependency on one training example. To make the approach efficient, we propose a fast and effective approximation of the influence function. We demonstrate that this technique outperforms state-of-the-art methods on semi-supervised image and language classification tasks.

研究の動機と目的

• 未ラベルデータは SSL にとって等しく情報量があるわけではなく、単一のグローバルウェイトは最適ではないことを動機付ける。
• 未ラベルデータの個別ウェイトを導入し、手動のグリッドサーチなしでその調整を自動化する。
• 大規模 SSL モデルの個別ウェイトを計算するための効率的な影響関数ベースのフレームワークを開発する。
• 画像およびテキストのベンチマークで最先端の SSL 法より性能向上を実証する。

提案手法

• 未ラベルデータの個別ウェイトを学習し、検証損失を最小化するように二重最適化を定式化する。
• 訓練データのあるサンプルを重み付けした場合が検証損失に与える影響を近似するために影響関数を用いる（Eq. 6）。
• 層の活性化と並列化を活用して個別勾配を効率的に計算し、メモリと計算を削減するために逆ヘッセ行列を最終層に制限して近似する。
• 各ミニバッチで個別ウェイトのサブセットのみを更新するためにマスク付き Adam (M(asked)-Adam) オプティマイザを用いる。
• 個別ウェイトを既存の SSL 損失（例：疑似ラベリング、UDA、FixMatch）と統合し、モデルパラメータとウェイトの交互更新を行う。
• ハイパーパラメータに関する実践的な指針を提供し、アブレーションと実行時間分析を通じて頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 単一のグローバルウェイトを超えて、個別の未ラベルデータウェイトが SSL の性能を向上させることができるか？
• RQ2 影響関数をどのように効率的に近似し、スケールして SSL に組み込んでこれらのウェイトを学習するか？
• RQ3 個別ウェイトは画像およびテキストの SSL ベンチマーク全体で一貫して性能を向上させるか？
• RQ4 深層ネットで個別ウェイトを使用する際の計算上のトレードオフと実用的な考慮事項（例：メモリ、ハイパーパラメータ）は何か？

主な発見

• 未ラベルデータの個別ウェイト付けは、CIFAR-10、SVHN、IMDb において UDA や FixMatch のような強力なベースラインを上回る SSL の性能を向上させる。
• 影響関数ベースのアプローチは、検証性能に基づいて未ラベルサンプルのウェイト割り当てを効果的に導く。
• 効率的な個別勾配計算と最終層ヘッセン近似により、限られたGPUメモリで現代的な SSL セットアップへスケール可能。
• Masked-Adam（M(asked)-Adam）とウェイトサブセットの選択的更新が精度と効率のバランスを取る。
• アブレーション研究は、単一のグローバルウェイトを用いる場合より利益を示し、選択した影響関数の近似と最適化手法の重要性を強調する。