[論文レビュー] Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint Localization

Can Wang, Sheng Jin+5 more|arXiv (Cornell University)|Jan 21, 2022

Advanced Image and Video Retrieval Techniques被引用数 8

ひとこと要約

本稿では、半教師ありキーポoinトロケーションにおける高品質な疑似ラベル付きサンプルの選択のための動的信頼度しきい値を自動で学習する強化学習ベースの手法、Pseudo-Labeled Auto-Curriculum Learning (PLACL) を提案する。カリキュラム設計を意思決定問題として定式化し、確認バイアスを軽減するためのクロストレーニングを用いることで、わずか5%のラベル付きデータで6つのベンチマークデータセットにおいて最先端の性能を達成する。

ABSTRACT

Localizing keypoints of an object is a basic visual problem. However, supervised learning of a keypoint localization network often requires a large amount of data, which is expensive and time-consuming to obtain. To remedy this, there is an ever-growing interest in semi-supervised learning (SSL), which leverages a small set of labeled data along with a large set of unlabeled data. Among these SSL approaches, pseudo-labeling (PL) is one of the most popular. PL approaches apply pseudo-labels to unlabeled data, and then train the model with a combination of the labeled and pseudo-labeled data iteratively. The key to the success of PL is the selection of high-quality pseudo-labeled samples. Previous works mostly select training samples by manually setting a single confidence threshold. We propose to automatically select reliable pseudo-labeled samples with a series of dynamic thresholds, which constitutes a learning curriculum. Extensive experiments on six keypoint localization benchmark datasets demonstrate that the proposed approach significantly outperforms the previous state-of-the-art SSL approaches.

研究の動機と目的

• 固定された信頼度しきい値が最適でない性能をもたらす半教師ありキーポイントロケーションにおける信頼度の低い疑似ラベル選択の課題に対処すること。
• 反復的疑似ラベル付けにおける確認バイアスとノイズ蓄積を克服するため、非重複サブデータセットで交互に訓練を行うクロストレーニング戦略を導入すること。
• モデルのフィードバックに基づいてしきい値選択を動的に調整するデータ駆動型のカリキュラム学習フレームワークを構築し、手動でのしきい値チューニングを排除すること。
• 多様なデータセットおよびネットワークアーキテクチャにわたる半教師ありキーポイントロケーションの一般化性能とロバスト性を向上させること。

提案手法

• 強化学習（PPO2）を用いて、モデルが疑似ラベル付けのための最適な信頼度しきい値を選択する意思決定問題としてカリキュラム設計を定式化する。
• 強化学習エージェントを用いて、モデルの性能フィードバックに基づき、訓練ラウンドごとにしきい値を動的に調整し、簡単なサンプルから難しいサンプルへと進化するカリキュラムを実現する。
• ノイズ蓄積と確認バイアスを低減するために、別々のサブデータセットで交互に疑似ラベル予測とモデル訓練を行うクロストレーニング戦略を実装する。
• 標準的な疑似ラベル付けとRLベースのカリキュラムを統合することで、モデルに依存しないフレームワークを実現し、さまざまなキーポイントロケーションネットワークに適用可能にする。
• PPO2を用いた探索パラダイムにより、可能なしきい値の系列の空間を効率的に探索し、ランダムまたは手動の探索を上回る性能を達成する。
• カリキュラムを、モデルの予測品質と一般化性能に基づいて繰り返し更新される信頼度しきい値の系列として定義する。

実験結果

リサーチクエスチョン

• RQ1 自動で学習された動的信頼度しきい値のカリキュラムは、固定された手作業によるしきい値よりも、半教師ありキーポイントロケーションで優れた性能を発揮するか？
• RQ2 クロストレーニングは反復的疑似ラベル付けにおける確認バイアスとノイズ蓄積をどのように軽減するか？
• RQ3 強化学習ベースのカリキュラム探索は、ランダムまたは手動のしきい値選択と比較して、どの程度性能を向上させるか？
• RQ4 提案手法は、多様なキーポイントロケーションデータセットおよびネットワークアーキテクチャにどの程度一般化可能か？

主な発見

• LSPETデータセットにおいて、5%のラベル付きデータでPLACLはPCK@0.1スコア70.76を達成し、以前の最先端手法（WS-CDA+PPLO）を4.4ポイント上回った。
• MS-COCOデータセットにおいて5%のラベル付きデータで、PLACLはPCK@0.1スコア66.0を達成し、次に優れた手法（WS-CDA+PPLO）を12.9ポイント上回った。
• アブレーションスタディの結果、クロストレーニング戦略を削除するとPCK@0.1スコアは70.76から67.13に低下し、ノイズ蓄積を軽減する上でその戦略の重要性が示された。
• RLを用いた動的しきい値の使用により、固定しきい値ベースラインと比較して3.2ポイントの性能向上が達成され、カリキュラム学習の有効性が裏付けられた。
• 手動で設計された低下するしきい値を有するカリキュラムよりも、自動で学習するRLベースのカリキュラム学習が優れていることが示され、専門家が設計したヒューリスティクスよりも効果的であることが明らかになった。
• 本手法はモデルに依存せず、人間および動物のポーズ推定ベンチマークを含む6つの多様なデータセットで一貫した性能向上を達成し、一般化可能である。