[論文レビュー] Importance of Self-Consistency in Active Learning for Semantic Segmentation

S. Alireza Golestaneh, Kris Kitani|arXiv (Cornell University)|Aug 4, 2020

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、推論時に等変換（特に水平反転）を用いた自己一貫性を活用することで、不確実性推定を向上させるアクティブラーニング手法EquALを提案する。元の入力と反転された入力の間で画素単位の自己一貫性を強制することで、過学習と不確実性バイアスを低減し、CamVidおよびCityscapesで全ラベルデータの12%のラベルデータのみを用いても、全データ学習時の約96%の性能を達成する。

ABSTRACT

We address the task of active learning in the context of semantic segmentation and show that self-consistency can be a powerful source of self-supervision to greatly improve the performance of a data-driven model with access to only a small amount of labeled data. Self-consistency uses the simple observation that the results of semantic segmentation for a specific image should not change under transformations like horizontal flipping (i.e., the results should only be flipped). In other words, the output of a model should be consistent under equivariant transformations. The self-supervisory signal of self-consistency is particularly helpful during active learning since the model is prone to overfitting when there is only a small amount of labeled training data. In our proposed active learning framework, we iteratively extract small image patches that need to be labeled, by selecting image patches that have high uncertainty (high entropy) under equivariant transformations. We enforce pixel-wise self-consistency between the outputs of segmentation network for each image and its transformation (horizontally flipped) to utilize the rich self-supervisory information and reduce the uncertainty of the network. In this way, we are able to find the image patches over which the current model struggles the most to classify. By iteratively training over these difficult image patches, our experiments show that our active learning approach reaches $\\sim96\\%$ of the top performance of a model trained on all data, by using only $12\\%$ of the total data on benchmark semantic segmentation datasets (e.g., CamVid and Cityscapes).

研究の動機と目的

• 深層モデルが最適な性能を発揮するには大規模なラベル付きデータセットを必要とするセマンティックセグメンテーションにおけるデータ効率性の課題に取り組む。
• ラベル付きデータが僅かである状況下で、アクティブラーニングにおける過学習と不確実性バイアスを軽減する。
• 等変換を用いた自己教師学習を組み込むことで、サンプル選択のロバスト性を向上させる。
• 反復的なアクティブラーニングのサイクル中に、モデルの汎化性能と不確実性推定を向上させる。
• 特に不確実性の高い領域に注目することで、最小限の人的ラベルコストで高い性能を維持する手法を開発する。

提案手法

• 推論時に水平反転を等変換として用い、各入力画像の変換版を生成する。
• 元画像と反転画像の両方のモデル予測のエントロピーを用いて不確実性スコアを計算する。
• 元画像と反転画像のセグメンテーション出力の間で画素単位の自己一貫性を、一貫性損失を介して強制する。
• 元画像と変換画像の両方で高い不確実性（高いエントロピー）を示す画像パッチを人間によるラベリング対象として選択する。
• 選択されたパッチでモデルを反復的に再訓練し、自己一貫性損失を活用して汎化性能を向上させ、予測のばらつきを低減する。
• 不確実性が等変換の一貫性を通じて測定され、最小化されるプールベースのアクティブラーニングフレームワークに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 等変換からの自己一貫性は、セマンティックセグメンテーションのアクティブラーニングにおける不確実性推定を改善できるか？
• RQ2 元画像と変換画像の予測の画素単位の一貫性を強制することで、モデルの汎化性能と性能にどのような影響を与えるか？
• RQ3 異なる等変換（例：回転、反転、平行移動）がアクティブラーニングの性能に与える影響は何か？
• RQ4 自己一貫性からの自己教師学習は、高い性能を達成するために必要なラベル付きサンプル数を削減できるか？
• RQ5 提案手法は、mIoUとデータ効率性の観点から、標準的な不確実性ベースのアクティブラーニングベースラインを上回るか？

主な発見

• 提案手法EquALは、CamVidおよびCityscapesで全データ学習時の約96%の最大性能を、ラベル付きデータの12%のみを用いて達成する。
• EquALは標準的なエントロピーベースのアクティブラーニングを上回り、自己一貫性を強制することで、異なるクラスで2–9%のmIoU向上を達成する。
• 水平反転が最も効果的な等変換であり、回転、垂直反転、平行移動と比較して顕著に性能を向上させる。
• 画素単位の自己一貫性損失（EquAL+）を追加することで性能がさらに向上し、12%の予算でCityscapesのmIoUが56.15から58.33に上昇する。
• 定性的な結果から、EquALはエントロピーベースラインと比較して、歩道や地形といった挑戦的なクラスのセグメンテーションをよりよく行う。
• アブレーションスタディの結果、現実的な画像コンテンツを保つ変換（例：水平反転）のみが性能を向上させ、垂直反転や回転などの他の変換は性能を低下させることが確認された。