[論文レビュー] PiCO+: Contrastive Label Disambiguation for Robust Partial Label Learning

Haobo Wang, Ruixuan Xiao+5 more|arXiv (Cornell University)|Jan 22, 2022

Text and Document Classification Technologies被引用数 11

ひとこと要約

本稿では、クラスプロトタイプを介して表現学習とラベルの曖昧さ解消を共同で最適化する、耐障害性のある部分ラベル学習のための対照的学習フレームワーク、PiCO+を提案する。分類器出力から得られる疑似正例ペアを活用し、プロトタイプを繰り返し精錬することで、標準的およびノイズを含む部分ラベルベンチマークにおいて最先端の性能を達成し、ラベルの曇りにもかかわらず完全教師あり学習の精度に匹敵する。

ABSTRACT

Partial label learning (PLL) is an important problem that allows each training example to be labeled with a coarse candidate set, which well suits many real-world data annotation scenarios with label ambiguity. Despite the promise, the performance of PLL often lags behind the supervised counterpart. In this work, we bridge the gap by addressing two key research challenges in PLL -- representation learning and label disambiguation -- in one coherent framework. Specifically, our proposed framework PiCO consists of a contrastive learning module along with a novel class prototype-based label disambiguation algorithm. PiCO produces closely aligned representations for examples from the same classes and facilitates label disambiguation. Theoretically, we show that these two components are mutually beneficial, and can be rigorously justified from an expectation-maximization (EM) algorithm perspective. Moreover, we study a challenging yet practical noisy partial label learning setup, where the ground-truth may not be included in the candidate set. To remedy this problem, we present an extension PiCO+ that performs distance-based clean sample selection and learns robust classifiers by a semi-supervised contrastive learning algorithm. Extensive experiments demonstrate that our proposed methods significantly outperform the current state-of-the-art approaches in standard and noisy PLL tasks and even achieve comparable results to fully supervised learning.

研究の動機と目的

• 部分ラベル学習（PLL）における表現学習とラベルの曇り解消の相互依存性に取り組み、ラベルの曇りによって性能が低下するのを防ぐ。
• 劣悪な表現に依存する既存のPLL手法の限界を克服し、正確なラベルの曇り解消を実現する。
• 表現の質とラベルの曇り解消の正確性を共に向上させる統合的フレームワークを構築する。
• 真のラベルが候補セットに含まれないという現実的だが未だ十分に検討されていない課題を扱えるように、フレームワークをノイズを含む部分ラベル学習に拡張する。
• 期待値最大化（EM）の観点からフレームワークを理論的裏付けを与え、対照的学習とプロトタイプベースの曇り解消の相互利益を示す。

提案手法

• 分類器出力から疑似正例ペアを生成する対照的学習モジュールを導入し、部分ラベル設定における特徴表現学習を向上させる。
• 各サンプルを最も近いプロトタイプを持つクラスに割り当てるプロトタイプベースのラベル曇り解消戦略を提案し、疑似ラベルを繰り返し精錬する。
• EMに類似した最適化ループにおいて、対照的学習（Mステップ）とラベル曇り解消（Eステップ）を交互に実行し、表現と予測を共同で最適化する。
• 学習済み表現を単位超球上のバーレル・ミーゼス・フォイエル（vMF）分布の混合として理論的にモデル化し、成分固有のラベルを用いた根拠あるラベル割り当てを可能にする。
• ノイズを含む部分ラベル設定において信頼性の高いサンプルを特定する距離ベースのクリーンサンプル選択基準を導入することで、PiCOをPiCO+に拡張する。
• PiCO+において半教師あり対照的学習を統合し、選択されたクリーンサンプルからの未ラベルデータを活用することで、さらなる耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は部分ラベル学習に効果的に適応可能であり、表現の質とラベルの曇り解消を向上させることができるか？
• RQ2 プロトタイプベースの曇り解消を対照的学習と統合することで、相乗効果を生むトレーニングフレームワークを構築できるか？
• RQ3 真のラベルが候補セットに含まれない状況でも、提案フレームワークは高い性能を維持できるか？（一般的な現実世界の問題）
• RQ4 既知の統計的枠組み（EMアルゴリズム）の下で、表現と曇り解消の共同最適化は理論的に裏付けられるか？
• RQ5 クリーンサンプル選択と半教師あり学習を組み込むことで、ノイズを含む部分ラベル学習に一般化可能か？

主な発見

• PiCO+は3つの標準的部部分ラベル学習ベンチマークで最先端の性能を達成し、既存のSOTA手法を顕著に上回る。
• ノイズを含む部分ラベル学習ベンチマークにおいて、PiCO+は耐障害性と一般化性能を示し、真のラベルが候補セットに含まれない状況でも有効である。
• 完全教師あり学習と同等の性能を達成しており、ラベルの曇りが共同での表現学習と曇り解消学習によって効果的に軽減できることを示している。
• 理論的分析により、フレームワークがEMアルゴリズムと整合しており、対照的学習が表現の質を向上させ、曇り解消が疑似ラベルを精錬することで、相互に利益をもたらすループが形成されていることが確認された。
• PiCO+における距離ベースのクリーンサンプル選択の活用により、ノイズ環境下での耐障害性が向上し、標準的な小損失選択基準を上回る性能を示した。
• 学習済み表現がバーレル・ミーゼス・フォイエル（vMF）分布の混合に従うことが示され、プロトタイプベースのラベル割り当てに幾何的根拠を与えた。