[論文レビュー] GuidedMix-Net: Learning to Improve Pseudo Masks Using Labeled Images as Reference

Peng Tu, Yawen Huang+3 more|arXiv (Cornell University)|Jun 29, 2021

Advanced Vision and Imaging参考文献 47被引用数 4

ひとこと要約

GuidedMix-Net は、特徴の整合性と相互情報の転送を通じてラベル付き画像を参照として活用することで、偽マスク品質を向上させる新しい半教師ありセマンティックセグメンテーション手法を提案する。ラベル付きおよびラベルなしペアからの入力混合と知識蒸留による特徴の精練により、ベンチマークデータセット上で先行手法と比較してmIoUを+7%向上させ、最先端の性能を達成した。

ABSTRACT

Semi-supervised learning is a challenging problem which aims to construct a model by learning from a limited number of labeled examples. Numerous methods have been proposed to tackle this problem, with most focusing on utilizing the predictions of unlabeled instances consistency alone to regularize networks. However, treating labeled and unlabeled data separately often leads to the discarding of mass prior knowledge learned from the labeled examples, and failure to mine the feature interaction between the labeled and unlabeled image pairs. In this paper, we propose a novel method for semi-supervised semantic segmentation named GuidedMix-Net, by leveraging labeled information to guide the learning of unlabeled instances. Specifically, we first introduce a feature alignment objective between labeled and unlabeled data to capture potentially similar image pairs and then generate mixed inputs from them. The proposed mutual information transfer (MITrans), based on the cluster assumption, is shown to be a powerful knowledge module for further progressive refining features of unlabeled data in the mixed data space. To take advantage of the labeled examples and guide unlabeled data learning, we further propose a mask generation module to generate high-quality pseudo masks for the unlabeled data. Along with supervised learning for labeled data, the prediction of unlabeled data is jointly learned with the generated pseudo masks from the mixed data. Extensive experiments on PASCAL VOC 2012, PASCAL-Context and Cityscapes demonstrate the effectiveness of our GuidedMix-Net, which achieves competitive segmentation accuracy and significantly improves the mIoU by +7$\%$ compared to previous state-of-the-art approaches.

研究の動機と目的

• 既存の半教師あり手法がラベル付きおよびラベルなしデータを別々に扱い、ラベル付き例からの事前知識を活用できないという限界を解消すること。
• 手動の摂動に依存する一貫性ベースの手法が、データ間の構造的および意味的関係を捉えられず、最適でない性能にとどまることを克服すること。
• ラベル付きからラベルなしインスタンスへの特徴レベルの相互作用と知識転送を可能にすることで、ラベルなしデータの偽マスク品質を向上させること。
• 混合データ空間表現を用いて、ラベル付きおよびラベルなしデータを統合的に最適化する一貫性のある学習フレームワークを開発すること。
• 限定的なラベル付きデータと高品質な偽マスクを活用することで、顕著に低いアノテーションコストで競争力のあるセグメンテーション精度を達成すること。

提案手法

• ラベル付きおよびラベルなし画像ペア間の類似特徴を特定・整合化するための特徴整合目的を導入し、関連する参照サンプルの選択を可能にする。
• 整合化されたラベル付きおよびラベルなしペアからの特徴と入力を組み合わせて混合入力を構築し、一般化性能を向上させるハイブリッドデータ空間を構成する。
• クラスタ仮説に基づく知識蒸留モジュールである相互情報転送（MITrans）を提案し、ラベル付き知識を用いてラベルなし特徴を段階的に精錬する。
• 混合データ空間を活用し、ラベル付きマスクからの分布シフトを最小限に抑えることで、高品質な偽マスクを生成するマスク生成モジュールを設計する。
• ラベル付きデータに対する教師あり損失と、元のデータと混合データの予測間の一貫性損失を用いて、ラベルなしサンプルに対してエンドツーエンドでモデルを学習する。
• 推論時にマルチスケールテストおよびフリップ増強を適用し、追加のラベル付きデータなしで性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 半教師ありセマンティックセグメンテーションにおいて、ラベル付き画像を参照として活用することで、ラベルなしデータの偽マスク品質を効果的に向上させることができるか？
• RQ2 ラベル付きデータから得られる構造的および意味的情報を、ラベルなしデータにどのように転送することで特徴表現とセグメンテーション精度を向上させられるか？
• RQ3 ラベル付きおよびラベルなしデータ間の相互情報転送は、標準的一致性正則化をはるかに超えるモデルのロバスト性と一般化性能を向上させられるか？
• RQ4 ラベル付きおよびラベルなしデータを統合的に最適化する一貫性のある学習目的は、それらを別々に処理する手法を上回る性能を発揮するか？
• RQ5 限定的なラベル付きデータ（全データの一部）を用いた場合、提案手法は完全に教師ありモデルと比較してどの程度の性能を示すか？

主な発見

• GuidedMix-Net は、半教師あり設定下で PASCAL VOC 2012、PASCAL-Context、Cityscapes において、先行する最先端手法と比較してmIoUを+7%向上させた。
• PASCAL VOC 2012 において、ラベル付きデータの1/8のみを用いた場合、GuidedMix-Net は75.2 mIoUを達成し、全データで学習した完全教師ありFCN（69.9 mIoU）を上回った。
• ラベル付きデータの1/2を用いた場合、GuidedMix-Net は77.1 mIoUを達成し、同じスプリットで完全教師ありDeepLabV3+（78.6 mIoU）に近い性能を示した。
• マルチスケールテストおよびフリップ増強を適用することで、1/2のラベル付きデータで78.2 mIoUにまで向上し、半分のラベル付きデータで完全教師ありDeepLabV3+（78.6 mIoU）に非常に近い性能を達成した。
• PASCAL-Context では、1/8および1/4のラベル付きデータに対して、それぞれ14.2%および10.3%のmIoU向上を達成し、複雑でオープンボリュームのシーンへの強力な一般化能力を示した。
• 可視化比較により、CCT などの一貫性ベースのベースラインと比較して、GuidedMix-Net は輪郭やオブジェクト境界の予測においてより正確で詳細な偽マスクを生成することがわかった。