[論文レビュー] PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification

Junxiang Huang, Alexander C. Huang+2 more|arXiv (Cornell University)|Aug 30, 2022

Text and Document Classification Technologies被引用数 5

ひとこと要約

PercentMatchは、マルチラベル半教師付き学習における動的パーセンタイルしきい値手法を提案し、訓練中に陽性および陰性の偽ラベルしきい値を適応的に調整することで、初期段階の予測からのノイズを低減する。Pascal VOC2007では最先端性能を達成し、MS-COCOではFixMatchや先行手法と比較して改善されたmAPおよびAUCスコアを達成した。

ABSTRACT

While much of recent study in semi-supervised learning (SSL) has achieved strong performance on single-label classification problems, an equally important yet underexplored problem is how to leverage the advantage of unlabeled data in multi-label classification tasks. To extend the success of SSL to multi-label classification, we first analyze with illustrative examples to get some intuition about the extra challenges exist in multi-label classification. Based on the analysis, we then propose PercentMatch, a percentile-based threshold adjusting scheme, to dynamically alter the score thresholds of positive and negative pseudo-labels for each class during the training, as well as dynamic unlabeled loss weights that further reduces noise from early-stage unlabeled predictions. Without loss of simplicity, we achieve strong performance on Pascal VOC2007 and MS-COCO datasets when compared to recent SSL methods.

研究の動機と目的

• クラス独立性と極端なクラス不均衡が偽ラベル作成を複雑にするマルチラベル分類への半教師付き学習の拡張という未解決の課題に対処すること。
• クラス固有のスコア分布に基づいて動的にしきい値を調整することで、初期訓練段階における誤った偽ラベルからのノイズを低減すること。
• FixMatchのような単一ラベルSSL手法を、自然でスケーラブルなしきい値設定メカニズムによりマルチラベル設定に一般化すること。
• Pascal VOC2007やMS-COCOのようなレアクラスが不足している不均衡なマルチラベルデータセットにおけるモデルの収束性と性能を向上させること。
• MS-COCOにおけるマルチラベル半教師付き分類の新しいベンチマーク結果を確立すること。ここには、以前に類似のベンチマークが存在しなかった。

提案手法

• PercentMatchは、陽性（κ₊ = 0.98）および陰性（κ₋ = 0.1）のためのパーセンタイルベースしきい値を用い、クラス固有のスコア分布に応じて動的に仮ラベルの信頼度しきい値を設定する。
• 陽性と陰性のしきい値スコアの差に応じてスケーリングされる、自己学習用の重みを動的に調整する機構を導入し、初期段階の低信頼度予測からのノイズを低減する。
• FixMatchの教師-生徒フレームワークを維持するが、固定信頼度しきい値の代わりにクラスごとの動的パーセンタイルしきい値を採用する。
• 標準的なデータオーグメンテーション（中央クロップ、反転、カットアウト）を適用し、ResNet50バックボーンを用いてAdam最適化法とワンサイクル学習率スケジュールを用いる。
• モデルはマルチラベルデコーダーヘッドを採用し、入力データをImageNet統計で正規化する。ラベル付きおよびラベルなしバッチサイズはそれぞれ36およびμ=1に設定される。
• しきい値の飽和は、一様なしきい値ギャップ（Υ₀=0.5, Υₛ=0.55）によって制御され、訓練の進行に伴い段階的にラベルなしデータが統合されるように保証される。

実験結果

リサーチクエスチョン

• RQ1 クラス独立性と不均衡という課題を鑑みるとき、単一ラベル分類からマルチラベル分類への半教師付き学習の有効な拡張はどのように達成できるか？
• RQ2 動的でパーセンタイルベースのしきい値設定は、特に初期訓練段階において、マルチラベルSSLにおける偽ラベルの信頼性を向上させることができるか？
• RQ3 しきい値の差に基づく適応的損失重み付けは、ノイズが多く不均衡なマルチラベル環境下でのモデルのロバスト性と収束性にどのように影響するか？
• RQ4 提案手法は、Pascal VOC2007やMS-COCOといった標準的なマルチラベルベンチマークで、固定しきい値ベースライン（FixMatchなど）を上回る性能を示すか？
• RQ5 MS-COCO（極端に不均衡なマルチラベルデータセットでかつ以前にSSLベンチマークが存在しなかった）において、PercentMatchは新しい最先端結果を確立できるか？

主な発見

• 20%ラベル付きデータを用いたPascal VOC2007では、以前のSOTA手法比で2.04%のmAP向上を達成し、最終的なmAPは41.33%に達した。
• 10%ラベル付きデータでも、以前のSOTAのmAPスコアに一致した。これは、極めて限られた監視信号下でも優れた性能を示している。
• MS-COCOでは、再実装したFixMatchと比較して、すべてのラベル付き比率（2%、5%、10%）で一貫して優れた性能を示した。これは、低ショット設定でも顕著な向上を示している。
• 10%ラベル付きデータでMS-COCOのmAPは32.29%に達し、ベースラインのFixMatch性能を顕著に上回った。
• ハイパーパrameter設定の変更に対しても性能が安定しており、パーセンタイルしきい値やしきい値ギャップの選択に過敏でないことが示された。
• 動的しきい値設定と適応的損失重み付けにより、誤った偽ラベルからのノイズが低減され、特に初期訓練段階で収束が速くなった。