[論文レビュー] A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation

Rihuan Ke, Angelica I. Avilés-Rivero+3 more|arXiv (Cornell University)|Dec 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 7

ひとこと要約

この論文は、マルチタスク学習と一貫性正則化を用いて疑似マスク品質を向上させる、半教師ありセマンティックセグメンテーションのための3段階自己訓練フレームワークを提案する。共通のバックボーンとタスク固有のヘッドを用いて、無ラベルデータ上の予測を繰り返し精錬することで、最小限のアノテート済みデータで最先端の性能を達成し、高価なピクセル単位のアノテーションへの依存を顕著に低減する。

ABSTRACT

Semantic segmentation has been widely investigated in the community, in which the state of the art techniques are based on supervised models. Those models have reported unprecedented performance at the cost of requiring a large set of high quality segmentation masks. To obtain such annotations is highly expensive and time consuming, in particular, in semantic segmentation where pixel-level annotations are required. In this work, we address this problem by proposing a holistic solution framed as a three-stage self-training framework for semi-supervised semantic segmentation. The key idea of our technique is the extraction of the pseudo-masks statistical information to decrease uncertainty in the predicted probability whilst enforcing segmentation consistency in a multi-task fashion. We achieve this through a three-stage solution. Firstly, we train a segmentation network to produce rough pseudo-masks which predicted probability is highly uncertain. Secondly, we then decrease the uncertainty of the pseudo-masks using a multi-task model that enforces consistency whilst exploiting the rich statistical information of the data. We compare our approach with existing methods for semi-supervised semantic segmentation and demonstrate its state-of-the-art performance with extensive experiments.

研究の動機と目的

• セマンティックセグメンテーションにおけるピクセル単位のアノテーションの高コストと希少性に対処し、限られたラベル付きデータと豊富なラベルなしデータからの有効な学習を可能にする。
• 包括的でマルチタスク学習のアプローチにより、ラベルなしデータから生成される疑似マスクの不確実性を低減する。
• 予測の一貫性を強制し、ラベルなしデータ内の統計的パターンを活用することで、データが少ない状況でのセグメンテーション性能を向上させる。
• 統合された訓練フレームワーク内で疑似マスクの精錬とセグメンテーションの一貫性を統合することで、既存の半教師あり手法を上回る性能を達成する。

提案手法

• 段階1では、小規模なラベル付きデータセットでセグメンテーションネットワークを訓練し、ラベルなし画像の初期で粗い疑似マスクを生成する。
• 段階2では、セグメンテーションタスクが一貫性損失によって正則化され、別個の補助タスクが疑似マスクの統計をモデル化することで予測の信頼性を向上させるマルチタスクモデルを採用する。
• 段階2の補助タスクは、conv4までを共有バックボーンとして使用し、疑似マスク統計のための別個のヘッドを備えることで、ノイズの多い予測に過剰適合することなく不確実性を低減できる。
• 段階3では、段階2で精錬された疑似マスクと元のラベル付きデータを用いて、セグメンテーションネットワークを再訓練する。最終的なネットワークは、前の段階と重みを共有することで一貫性を維持する。
• フレームワークは、すべての段階で共通のエンコーダ（ResNet-50ベース）を用い、セグメンテーションと疑似マスク統計のためのタスク固有のヘッドを備えることで、追加パラメータを最小限に抑える。
• 一貫性正則化は、入力を増幅して同じ画像に対する異なる変換下での予測の一致を強制することで、訓練中に適用される。

実験結果

リサーチクエスチョン

• RQ1 3段階の自己訓練フレームワークは、半教師ありセマンティックセグメンテーションにおける疑似マスク品質とセグメンテーション性能を向上させることができるか？
• RQ2 疑似マスク統計をモデル化するマルチタスク学習は、予測の一貫性を向上させ、不確実性を低減するのにどのように寄与するか？
• RQ3 一貫性正則化と共有特徴学習は、最小限のラベル付きデータでどの程度性能を向上させるか？
• RQ4 補助タスクは、セグメンテーション予測を直接監視しない状況でも、疑似マスクの精錬にどの程度寄与するか？

主な発見

• 提案されたフレームワークは、ラベル付きデータを最小限にした半教師あり設定下で、Pascal VOCおよびCityscapesベンチマークの両方で最先端の性能を達成した。
• アブレーションスタディにより、マルチタスク部が顕著に性能を向上させることを確認し、セグメンテーションと疑似マスク統計の共同学習の価値を示した。
• 繰り返しの精錬により、疑似マスクの予測不確実性が低減され、後の段階でより信頼性の高い疑似ラベルが得られた。
• マルチタスク学習にもかかわらず、標準モデルと比較してパラメータの増加が小さいことを確認し、効率性を示した。
• データ増幅を介した一貫性正則化の適用により、ラベルなしデータに対するよりロバストで汎化性の高い予測が得られた。