[論文レビュー] The Treasure Beneath Multiple Annotations: An Uncertainty-aware Edge Detector

Caixia Zhou, Yaping Huang+4 more|arXiv (Cornell University)|Mar 21, 2023

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本稿では、エッジアノテーションを学習可能なガウス分布として扱い、分散を不確実性として表現することで、エッジ検出におけるラベルの曖昧性をモデル化する新規フレームワーク、不確実性対応エッジ検出（UAED）を提案する。不確実性の高い（難易度の高い）サンプルを優先するためのアダプティブな損失重み付けを用いることで、さまざまなベンチマークで最先端の性能を達成するとともに、効率的かつ多様なバックボーンアーキテクチャと互換性を保つ。

ABSTRACT

Deep learning-based edge detectors heavily rely on pixel-wise labels which are often provided by multiple annotators. Existing methods fuse multiple annotations using a simple voting process, ignoring the inherent ambiguity of edges and labeling bias of annotators. In this paper, we propose a novel uncertainty-aware edge detector (UAED), which employs uncertainty to investigate the subjectivity and ambiguity of diverse annotations. Specifically, we first convert the deterministic label space into a learnable Gaussian distribution, whose variance measures the degree of ambiguity among different annotations. Then we regard the learned variance as the estimated uncertainty of the predicted edge maps, and pixels with higher uncertainty are likely to be hard samples for edge detection. Therefore we design an adaptive weighting loss to emphasize the learning from those pixels with high uncertainty, which helps the network to gradually concentrate on the important pixels. UAED can be combined with various encoder-decoder backbones, and the extensive experiments demonstrate that UAED achieves superior performance consistently across multiple edge detection benchmarks. The source code is available at \url{https://github.com/ZhouCX117/UAED}

研究の動機と目的

• 複数の人がアノテートしたエッジマップに内在する曖昧性とラベルバイアスに対処すること。
• エッジ検出における不確実性をノイズとして扱うのでなく、構造的に重要なピクセルを示す信号としてモデル化すること。
• 高不確実性ピクセルを優先するように訓練損失を再重み付けすることで、エッジ検出の性能を向上させること。
• バックボーンに大きな計算コストを追加せずに、多様なエンコーダ・デコーダアーキテクチャと互換性を持つプラグアンドプレイモジュールを開発すること。

提案手法

• ピクセル単位の決定的ラベルを、予測されたエッジマップが平均で、分散が別途デコーダブランチによって推定される学習可能なガウス分布に変換する。
• 予測された分散を不確実性の推定値として用い、複数のアノテーター間の合意のなさを反映する。
• 不確実性がより高いピクセルの損失寄与度を増加させるアダプティブな重み付け損失を設計し、モデルが難易度の高い曖昧なサンプルに注目するよう促進する。
• エッジ予測と不確実性推定を組み合わせたマルチタスク損失を用いてネットワークを訓練し、不確実性は複数アノテーションの分散によって監視する。
• CNNベース（VGG、EfficientNet）およびトランスフォーマー基盤（SegFormer）のエンコーダを含む、さまざまなエンコーダ・デコーダアーキテクチャにUAEDをプラグインモジュールとして統合する。
• バックボーンを変更せずに不確実性マップを訓練に活用し、推論コストを低く保つ。

実験結果

リサーチクエスチョン

• RQ1 複数のエッジアノテーションにおける不確実性をモデル化することで、エッジ検出の性能向上が達成できるか？
• RQ2 不確実性が高いうねり（アノテーター間の曖昧さを示す）ピクセルは、構造的に重要なエッジを表しているか？
• RQ3 高不確実性ピクセルに重点を置くアダプティブな損失重み付けは、標準的または固定された重み付け戦略を上回る性能を発揮するか？
• RQ4 提案された不確実性対応モジュールは、さまざまなバックボーンアーキテクチャに一般化可能か？
• RQ5 最先端のモデルと比較して、性能向上を維持しながら効率性を保っているか？

主な発見

• UAEDはBSDS500データセットで最先端の性能を達成し、ODSが0.829、OISが0.847、APが0.892を記録し、ベースラインおよび他の不確実性推定手法を上回った。
• 提案されたアダプティブな重み付け損失は、VGG、EfficientNet、SegFormerを含む、テストしたすべてのバックボーンアーキテクチャで一貫した性能向上を示した。
• Multicueデータセットでも一貫した向上を達成し、異なるアノテーション分布に対してもロバストであることが示された。
• 推論速度は1台のRTX 3090で17 FPSに向上し、EDTERのようなトランスフォーマー基盤モデル（5 FPS）を上回った。
• アブレーションスタディの結果、提案された不確実性に基づく損失重み付け戦略が、従来のまたは固定重み付け方式を顕著に上回ることが確認された。
• UAEDが生成する不確実性マップは、曄気の高いエッジ領域を視覚的に強調しており、高不確実性が構造的に重要なピクセルと相関していることが確認された。