[論文レビュー] DEAL: Difficulty-aware Active Learning for Semantic Segmentation

Shuai Xie, Zunlei Feng+4 more|arXiv (Cornell University)|Oct 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 5

ひとこと要約

本稿では、誤差マスクとピクセル単位の確率アテンションモジュールを用いて意味的難易度をモデル化することで、情報量の多いサンプルの選択を改善する、難易度に配慮したアクティブラーニングフレームワークである DEAL を提案する。獲得関数に不確実性と難易度の両方を組み込むことで、特に小さな物体や細い物体といった難しい意味的クラスにおけるIoUを向上させ、最先端の性能を達成する。

ABSTRACT

Active learning aims to address the paucity of labeled data by finding the most informative samples. However, when applying to semantic segmentation, existing methods ignore the segmentation difficulty of different semantic areas, which leads to poor performance on those hard semantic areas such as tiny or slender objects. To deal with this problem, we propose a semantic Difficulty-awarE Active Learning (DEAL) network composed of two branches: the common segmentation branch and the semantic difficulty branch. For the latter branch, with the supervision of segmentation error between the segmentation result and GT, a pixel-wise probability attention module is introduced to learn the semantic difficulty scores for different semantic areas. Finally, two acquisition functions are devised to select the most valuable samples with semantic difficulty. Competitive results on semantic segmentation benchmarks demonstrate that DEAL achieves state-of-the-art active learning performance and improves the performance of the hard semantic areas in particular.

研究の動機と目的

• 既存のアクティブラーニング手法が意味的難易度を無視しており、小さな物体や細い物体といった難しいクラスで性能を発揮できないという限界を是正すること。
• アノテーションの効率を向上させるために、サンプル選択の段階で意味的難易度を明示的にモデル化・活用するフレームワークの開発。
• 獲得関数に不確実性と難易度に配慮した基準を組み合わせることで、アクティブラーニングの性能を向上させること。
• 既存のセマンティックセグメンテーションネットワークに影響を及ぼさずに、容易に統合可能なプラグアンドプレイソリューションを提供すること。

提案手法

• 標準的なセマンティックセグメンテーション用と、意味的難易度スコアの予測用の二本のブランチを持つネットワークアーキテクチャを提案する。
• 意味的難易度ブランチは、正例と予測値の差分であるセグメンテーション誤差マスクを監視信号として用い、難易度スコアの学習を誘導する。
• ピクセル単位の確率アテンションモジュール（PAM）は、空間的に類似したピクセルを集約することで、分類誤りの可能性を反映した滑らかでクラスに特化した難易度マップを生成する。
• 二つの獲得関数を設計した：不確実性と難易度を組み合わせた難易度に配慮した不確実性スコア（DS）、および難易度にのみ依存する難易度に配慮したセマンティックエントロピー（DE）。
• 誤差マスクは、正例と予測値のピクセル単位の比較により生成され、難易度学習のための弱い監視信号として機能する。
• 本フレームワークは任意のセグメンテーションバックボーンと互換性があり、既存のモデルに容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 意味的難易度をモデル化することで、特に小さな物体や細い物体といった難しいセグメンテーションクラスにおいて、アクティブラーニングの性能が向上するか。
• RQ2 追加のアノテーションなしに、セグメンテーション誤差から意味的難易度を効果的に学習できるか。
• RQ3 不確実性に加えて難易度を組み合わせることで、不確実性のみの手法に比べてより優れたサンプル選択が可能になるか。
• RQ4 提案されたアテンション機構は、難易度マップの質と一貫性をどのように向上させるか。
• RQ5 難易度に配慮した獲得関数は、標準的なベンチマークで最先端の性能を達成できるか。

主な発見

• DEAL は、CamVid および Cityscapes ベンチマークの両方で最先端のアクティブラーニング性能を達成した。
• 本手法は、電柱、標識、小物などの難しい意味的クラスの平均IoUを顕著に向上させた。
• 確率アテンションモジュールの使用により、人間のアノテーション単位とより整合性のとれた滑らかで一貫性のある難易度マップが得られた。
• アブレーションスタディの結果、アテンションモジュールを削除するとノイズが多い難易度マップとなり、特にクラス分布のバランスが悪化するなど性能が低下することが確認された。
• 難易度に配慮した獲得関数（DS および DE）は、標準的な不確実性ベースの手法を上回り、希少または難しいクラスの性能ギャップを顕著に縮小した。
• 本フレームワークは、セグメンテーションバックボーンが劣悪であっても強固な性能を維持しており、ロバストネスと一般化性能を示した。