[論文レビュー] Dense Teacher: Dense Pseudo-Labels for Semi-supervised Object Detection

Hongyu Zhou, Zheng Ge+5 more|arXiv (Cornell University)|Jul 6, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文は、非教師モデルの生出力から直接得られる密度的な疑似ラベル（DPLs）を用いて、スパースな疑似ボックスの代わりに教師モデルの出力を直接利用する半教師ありオブジェクト検出フレームワーク「Dense Teacher」を提案する。これにより、NMS やしきい値処理といった後処理ステップが不要となり、ノイズ抑制と難易度の高いネガティブサンプルの強調を目的とした領域選択戦略を導入することで、COCO および VOC ベンチマークで最先端の性能を達成し、従来の疑似ボックスベース手法に比べ最大 3.2% の mAP 向上を実現した。

ABSTRACT

To date, the most powerful semi-supervised object detectors (SS-OD) are based on pseudo-boxes, which need a sequence of post-processing with fine-tuned hyper-parameters. In this work, we propose replacing the sparse pseudo-boxes with the dense prediction as a united and straightforward form of pseudo-label. Compared to the pseudo-boxes, our Dense Pseudo-Label (DPL) does not involve any post-processing method, thus retaining richer information. We also introduce a region selection technique to highlight the key information while suppressing the noise carried by dense labels. We name our proposed SS-OD algorithm that leverages the DPL as Dense Teacher. On COCO and VOC, Dense Teacher shows superior performance under various settings compared with the pseudo-box-based methods.

研究の動機と目的

• 疑似ボックスベースの半教師ありオブジェクト検出における限界、特に感度の高いハイパーパrameterを必要とする NMS やしきい値処理といった誤りを伴いやすい後処理ステップの問題を解決すること。
• 教師モデルの生出力から得られるより豊富な情報を保持する統一的かつエンドツーエンド形式の疑似ラベリングを提案すること。
• 密度的な予測から高品質で難易度の高いネガティブ領域を選択的に学習することで、モデルの一般化性能を向上させること。
• 密度的な疑似ラベルに知的な領域選択を組み合わせることで、従来の疑似ボックスパイプラインに比べ優れた性能を示すことを実証すること。

提案手法

• Dense Pseudo-Labels (DPLs) は、教師モデルの生出力から後処理を一切行わず、空間的および信頼度情報の完全な保持を実現する。
• 学生モデルは、ラベル付きデータからの真のラベルと、ラベルなしデータからの DPLs を用いて学習され、データ拡張を伴う一貫性正則化スキームが適用される。
• 教師モデルは、学生モデルの指数的移動平均（EMA）として維持され、学習中に安定した疑似ラベル生成が可能になる。
• 不確実な損失は学習可能な係数 $ w_u $ を用いて重み付けされ、データの可用性に応じて教師信号と不確実信号のバランスが調整される。
• 領域分割戦略により、高信頼度および難易度の高いネガティブ領域（例：FPN レイヤー全体の 1%）のサブセットが選択され、低スコアのノイズ予測が抑制される。
• 本手法は、1段階検出器（FCOS、RetinaNet）および複数のデータセット（COCO、VOC、CrowdedHuman）で評価され、堅牢性と一般化性能が確認された。

実験結果

リサーチクエスチョン

• RQ1 スパースな疑似ボックスの代わりに密度的な疑似ラベルを用いることで、後処理のボトル neck を解消し、半教師ありオブジェクト検出の性能が向上するか？
• RQ2 密度的な予測から選択されたキーレイアウトが、モデルの学習と性能にどのように影響を与えるか？
• RQ3 提案された領域選択戦略は、ノイズを効果的に抑制するとともに、情報量の多い難易度の高いネガティブサンプルを保持できるか？
• RQ4 学習領域サイズや不確実損失重みといったハイパーパrameterが、モデルの収束と精度に与える影響は何か？
• RQ5 Dense Teacher フレームワークは、異なる検出器アーキテクチャおよびデータセットに一般化可能か？

主な発見

• COCO-Standard 10% において、Dense Teacher は 35.11 mAP を達成し、先行研究の Unbiased Teacher よりも 3.2% の mAP 向上を達成した。
• COCO-Full では 44.92 mAP を達成し、豊富なラベル付きデータがある状況でも優れた性能を示した。
• 領域選択戦略により、ノイズ抑制と比較して 1.47%、ネガティブサンプルを無視する場合と比較して 2.47% の mAP 向上が確認され、その有効性が裏付けられた。
• 最適な学習領域サイズは FPN レイヤー全体の 1%（5 レイヤー）であり、正例と価値ある難易度の高いネガティブサンプルを含むことが分かった。
• 低ラベルデータ設定（COCO-10%）では $ w_u = 4 $ が最適であり、フルデータ設定では $ w_u = 2 $ で十分な性能が得られた。
• 本手法はアンカーベースの検出器（RetinaNet）および他のデータセット（CrowdedHuman）にも一般化可能であり、それぞれ +2.2% mAP および +2.1% mMR の向上を達成した。