[論文レビュー] Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels

Changrui Chen, Jungong Han+1 more|arXiv (Cornell University)|Dec 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、密度予測タスクにおける半教師あり学習手法として、誤りやすい難易度の高い未ラベル付きサンプルに対して、真のラベルを破棄するか、ノイズの多い疑似ラベルを直接使用する代わりに仮想カテゴリ（VC）を割り当てる『仮想カテゴリ（VC）学習』を提案する。これらの仮想カテゴリを通じて安全な最適化を可能にすることで、特に極めて限られたラベル付きデータ下でも最先端の性能を達成し、ラベル数が最小限のセマンティックセグメンテーションおよびオブジェクト検出タスクで既存手法を上回る。

ABSTRACT

Due to the costliness of labelled data in real-world applications, semi-supervised learning, underpinned by pseudo labelling, is an appealing solution. However, handling confusing samples is nontrivial: discarding valuable confusing samples would compromise the model generalisation while using them for training would exacerbate the issue of confirmation bias caused by the resulting inevitable mislabelling. To solve this problem, this paper proposes to use confusing samples proactively without label correction. Specifically, a Virtual Category (VC) is assigned to each confusing sample in such a way that it can safely contribute to the model optimisation even without a concrete label. This provides an upper bound for inter-class information sharing capacity, which eventually leads to a better embedding space. Extensive experiments on two mainstream dense prediction tasks -- semantic segmentation and object detection, demonstrate that the proposed VC learning significantly surpasses the state-of-the-art, especially when only very few labels are available. Our intriguing findings highlight the usage of VC learning in dense vision tasks.

研究の動機と目的

• セマンティックセグメンテーションやオブジェクト検出のような密度予測タスクにおいて、極めて限られたラベル付きデータでのディープラーニングモデルの学習という課題に対処すること。
• 誤ったラベルによる確認バイアス（confirmation bias）に苦しむか、誤ったラベルを破棄する既存の疑似ラベル手法の限界を克服すること。
• 真のラベルが不要な状況でも、曖昧で難しい未ラベル付きサンプルを効果的に活用できるように、仮想カテゴリメカニズムを導入すること。
• 低ショット半教師あり学習環境下でのモデルの汎化性能と最適化の安定性を向上させること。

提案手法

• 単一の誤りやすいラベルに依存するのではなく、疑似ラベルの分布に基づいて各誤りやすい未ラベル付きサンプルに仮想カテゴリ（VC）を割り当てる。
• 各誤りやすいサンプルに対して、それが属する可能性のあるすべてのクラスを表す「潜在的カテゴリ（PC）」集合を構築する。
• 真のラベルが存在しない状況でも、安全なクラス境界方向への最適化を促進するように変更された損失関数（Reg*損失）を導入する。
• アブレーションが必要な場合に備え、VC損失を主な学習グラフから勾配分離することで、VCの貢献度を評価可能なアブレーションスタディを可能にする。
• 検出ネットワークの後段（例：RPNおよび領域分類器）でのみVC学習を適用することで、性能を維持しつつ、より高いロバスト性を実現する。
• 信頼度の閾値と時間的安定性の検証を用いて、VCに割り当てる前に信頼性の低い疑似ラベルをフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが存在しない状況でも、誤りやすい未ラベル付きサンプルを効果的に半教師あり密度予測に活用できるか？
• RQ2 曖昧なサンプルに仮想カテゴリを割り当てることで、誤りやすいラベルを破棄するか、ノイズの多い疑似ラベルを直接使用するのと比較して、モデルの汎化性能が向上するか？
• RQ3 特にベースラインモデルが弱い状況下でも、VC学習は極めて限られたラベル付きデータ下で効果を発揮するか？
• RQ4 VC学習はセマンティックセグメンテーションおよびオブジェクト検出タスクの両方で効果的に適用可能か？
• RQ5 VC学習の貢献度は、単なるフィルタリングや損失の省略によるものと比較して、どのように評価できるか？

主な発見

• Pascal VOCの1/128のラベルしか使用しない状況下でも、VC学習はセマンティックセグメンテーションで最先端の性能を達成し、既存手法を上回る。
• MS COCOの1%ラベル付きデータで、VC学習は20.81 mAPを達成し、誤りやすいサンプルを破棄するか、すべて保持するという戦略よりも顕著に優れた性能を示した。
• アブレーションスタディの結果、VC学習が最も優れた性能を発揮しており、「破棄」や「分離」のバリエーションは劣った結果を示しており、VCの貢献が単に損失部の省略によるものではないことを裏付けた。
• RPNおよび領域分類器の両方の段階にVC学習を適用することで、mAPは20.00から20.81に向上し、検出タスクのあらゆる段階で有効であることを示した。
• miniImageNetでは、VC学習が51.49%のトップ-1正答率を達成し、非密度予測分類設定下でも既存手法を大きく上回った。
• 極めて少ないラベルでも効果を発揮し、ラベル比率が増加するに従って収益の減少が見られるが、これは理論的期待と一致しており、予想通りの挙動を示した。