[論文レビュー] Iterative Loop Method Combining Active and Semi-Supervised Learning for Domain Adaptive Semantic Segmentation

Licong Guan, Yuan Xue|arXiv (Cornell University)|Jan 31, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ドメイン適応型セマンティックセグメンテーションのための反復的ループ手法であるILM-ASSLを提案する。まず、半教師あり学習を用いて未ラベルのターゲットデータを活用し、モデルの精度を向上させるとともに、ノイズの多い疑似ラベルを低減する。次に、予測不確実性に基づくアクティブラーニングを適用し、重要とされるサンプルを特定・修正する。これにより、最小限のアノテーションコストで最先端の性能を達成し、GTAV→CityscapesおよびSYNTHIA→Cityscapesの両ベンチマークでmIoUをそれぞれ4.9%および5.2%向上した。

ABSTRACT

Semantic segmentation is an important technique for environment perception in intelligent transportation systems. With the rapid development of convolutional neural networks (CNNs), road scene analysis can usually achieve satisfactory results in the source domain. However, guaranteeing good generalization to different target domain scenarios remains a significant challenge. Recently, semi-supervised learning and active learning have been proposed to alleviate this problem. Semisupervised learning can improve model accuracy with massive unlabeled data, but some pseudo labels containing noise would be generated with limited or imbalanced training data. And there will be suboptimal models if human guidance is absent. Active learning can select more effective data to intervene, while the model accuracy can not be improved because the massive unlabeled data are not used. And the probability of querying sub-optimal samples will increase when the domain difference is too large, increasing annotation cost. This paper proposes an iterative loop method combining active and semisupervised learning for domain adaptive semantic segmentation. The method first uses semi-supervised to learn massive unlabeled data to improve model accuracy and provide more accurate selection models for active learning. Secondly, combined with the predictive uncertainty sample selection strategy of active learning, manual intervention is used to correct the pseudo-labels. Finally, flexible iterative loops achieve the best performance with minimal labeling cost. Extensive experiments show that our method establishes state-of-the-art performance on tasks of GTAV to Cityscapes, SYNTHIA to Cityscapes, improving by 4.9% mIoU and 5.2% mIoU, compared to the previous best method, respectively.

研究の動機と目的

• ドメインシフトを伴うソースドメインからターゲットドメインにモデルを移行する際の一般化性能の低さという課題に対処する。
• 現実世界のターゲットドメインにおける人間によるアノテーションデータの高いコストを低減しつつ、高いモデル性能を維持する。
• 単独で用いる半教師ありラーニング（ノイズの多い疑似ラベル）およびアクティブラーニング（未ラベルデータの未利用）の限界を克服する。
• Labelmeのような既存のラベル付けツールと互換性がある実用的な画像単位のサンプル選択戦略を設計し、最小選択単位として単一の画像を採用する。
• 最小限の人的介入とラベル付け予算で、ドメイン適応型セマンティックセグメンテーション分野における最先端の性能を達成する。

提案手法

• 大規模な未ラベルターゲットドメインデータを活用する半教師ありラーニング（SSL）を適用し、モデルの精度を向上させるとともに、より信頼性の高い疑似ラベルを生成する。
• 予測不確実性に基づくサンプル選択戦略を用いたアクティブラーニングを統合し、人間によるラベリングに優先して処理すべき最も情報量の多い画像を特定する。
• 不確実性の高いサンプルに対する人間によるアノテーション補正を活用し、疑似ラベルを精緻化してモデルを再訓練することで、ノイズを低減し一般化性能を向上させる。
• SSLとアクティブラーニングを繰り返し実行するループ構造を実装し、未ラベルデータに対する自己学習と、高不確実性サンプルの人の手によるフィードバックを交互に繰り返す。
• Labelmeのような標準的なラベル付けツールと互換性がある実用的な画像単位の選択メカニズムを設計し、現実のワークフローでは現実的でないピクセル単位の選択を回避する。
• DeepLab-V3+にResNet-101バックボーンを採用し、未ラベルデータ用の損失関数（ℒu）と一貫性正則化（ℒc）を組み込み、訓練を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 半教師ありラーニングとアクティブラーニングを統合することで、ドメイン適応型セマンティックセグメンテーションにおけるアノテーションコストを低減しつつ性能を向上させることができるか？
• RQ2 不確実性の高いサンプルからの人間による補正を用いた反復的フィードバックが、ドメインシフトにさらされた状況下でのモデル一般化性能にどのように影響するか？
• RQ3 予測不確実性に基づく実用的な画像単位の選択戦略が、現実のラベリングパイプラインにおいて、ピクセル単位の選択を上回る性能を発揮する程度はどの程度か？
• RQ4 提案手法は、GTAV→CityscapesおよびSYNTHIA→Cityscapesといった標準ベンチマークで、最小限のラベル付け予算で最先端の性能を達成できるか？
• RQ5 オープンセットおよびソースフリーのドメイン適応という困難な設定下でも、本手法はどれほど頑健か？

主な発見

• ILM-ASSLはGTAV→Cityscapesベンチマークで78.1%のmIoUを達成し、前回の最先端手法比で4.9%の向上を示した。
• SYNTHIA→Cityscapesベンチマークでは81.1%のmIoUを達成し、前回の最良手法比で5.2%の向上を示した。
• アブレーションスタディの結果、半教師ありラーニング、一貫性正則化、アクティブラーニングの各要素が顕著に寄与しており、完全な手法はベースライン比で10.38%の性能向上を達成した。
• t-SNE可視化では、ILM-ASSLがRIPUのようなベースライン手法と比較して、より識別性が高く、明確に分離された特徴表現を学習していることが示された。
• 本手法はソースフリーのドメイン適応に対しても良好に一般化され、URMA、LD、SFDA、RIPUといった既存のSoTA手法を、困難なベンチマークで上回った。
• ターゲットドメインデータのわずか2.2%しかラベル付けされていなくても、ILM-ASSLは76.11%のmIoUを達成し、高いラベル付け効率を示した。