[論文レビュー] Sinkhorn Label Allocation: Semi-Supervised Classification via Annealed Self-Training

Kai Sheng Tai, Peter Bailis+1 more|arXiv (Cornell University)|Feb 17, 2021

Machine Learning and Data Classification被引用数 9

ひとこと要約

本論文は、分類器の予測をコストとして用いることで、例とクラスの間の最適輸送問題としてラベル割り当てを定式化する、新しい半教師あり学習手法であるSinkhornラベル割当（SLA）を提案する。Sinkhorn反復を用いた効率的な近似と、クラスの割合とラベル質量に関する制約を組み合わせることで、自己訓練の精度を向上させ、CIFAR-10で1クラスあたり4例のラベル付きデータのみを用いて平均テスト精度94.83％を達成した。これはFixMatchを上回り、25ラベル／クラスを用いたFixMatchと同等の性能を達成した。

ABSTRACT

Self-training is a standard approach to semi-supervised learning where the learner's own predictions on unlabeled data are used as supervision during training. In this paper, we reinterpret this label assignment process as an optimal transportation problem between examples and classes, wherein the cost of assigning an example to a class is mediated by the current predictions of the classifier. This formulation facilitates a practical annealing strategy for label assignment and allows for the inclusion of prior knowledge on class proportions via flexible upper bound constraints. The solutions to these assignment problems can be efficiently approximated using Sinkhorn iteration, thus enabling their use in the inner loop of standard stochastic optimization algorithms. We demonstrate the effectiveness of our algorithm on the CIFAR-10, CIFAR-100, and SVHN datasets in comparison with FixMatch, a state-of-the-art self-training algorithm. Our code is available at https://github.com/stanford-futuredata/sinkhorn-label-allocation.

研究の動機と目的

• ラベルのないデータに対するノイズの多いラベル割り当てが原因で生じる自己訓練の不安定性を解消すること。
• 信頼度しきい値やラベルの緩和といった一般的なヒューリスティクスを、一貫した最適化フレームワーク内で統合すること。
• 確率的最適化パイプラインへの統合を可能にするために、効率的で微分可能なラベル割り当てを実現すること。
• 柔軟な上限制約を用いて、クラスの割合に関する事前知識を組み込むこと。
• 低ショット半教師あり学習設定における汎化性能とロバストネスを向上させること。

提案手法

• ラベル割り当てを、$\sum_{ij} Q_{ij} C_{ij}(\theta) $ を最小化する凸な最適輸送問題として定式化し、$ C_{ij}(\theta) = -\log p_\theta(j|x_i) $ とする。
• エントロピー正則化を用いたSinkhorn-Knoppアルゴリズムを用いて、最適輸送問題の解を効率的に近似する。
• クラスの割合に上限を課すためにスケーリング変数を導入し、ラベル分布の制御を可能にする。
• 訓練の反復回数に応じて段階的にラベル割り当ての総質量を増加させるラベルの緩和戦略を適用する。
• 輸送解から得られるソフトラベルを仮ラベルとして用い、ラベル割り当てステップを自己訓練ループに統合する。
• クラスのバランスや上限制約を含む柔軟な制約をサポートし、クラスの過剰または不足表現を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 最適輸送は、自己訓練におけるラベル割り当てのための原則的かつ効率的なフレームワークを提供できるか？
• RQ2 クラスの割合制約を組み込むことで、低ショット半教師あり学習におけるモデルの汎化性能にどのような影響を与えるか？
• RQ3 ラベル割り当て質量の緩和は、訓練の安定性と精度を向上させることができるか？
• RQ4 同じ設定下で、FixMatchなどの最先端手法と比較してSLAはどのように性能を発揮するか？
• RQ5 制約の誤設定や正則化パラメータの影響は、SLAの性能にどのような影響を及えるか？

主な発見

• CIFAR-10で1クラスあたり4例のラベル付きデータを用いた場合、SLAは平均テスト精度94.83％（±0.32％）を達成した。これは、同じ設定下で90.10％（±3.00％）を記録したFixMatchを上回った。
• 1クラスあたり40例のラベル付きデータを用いた場合、ラベルの緩和を適用した場合のテスト誤差は5.17％であったのに対し、適用しない場合の誤差は13.67％であった。これは、段階的ラベル割り当ての重要性を示している。
• クラスの割合制約を削除すると、テスト誤差は9.71％（±5.95％）に上昇した。これは、適切に指定された制約が性能向上に顕著に寄与することを示している。
• Sinkhorn正則化パラメータ $\gamma = 100$ が、近似の品質と計算コストの間で最良のトレードオフを実現し、1クラスあたり40ラベルを用いたCIFAR-10で4.94％の誤差を達成した。
• 本手法は、ラベルの緩和と信頼度しきい値のヒューリスティクスを、統一された最適化フレームワーク内で効果的にシミュレートできた。
• 実験的分析から、非可解または誤設定された制約は、モデルパラメータとスケーリング変数に混沌とした振動を引き起こすことが判明した。これは、適応的制約チューニングの可能性を示唆している。