[論文レビュー] Simultaneous Edge Alignment and Learning

Zhiding Yu, Weiyang Liu+5 more|arXiv (Cornell University)|Aug 6, 2018

Medical Image Segmentation Techniques参考文献 3被引用数 4

ひとこと要約

本論文では、確率的モデルにおける潜在変数としてエッジラベルを扱うことにより、エッジアライメントと検出を同時に最適化するエンド・ツー・エンドのディープラーニングフレームワーク、SEALを提案する。トレーニング中にラベルの最適化を最小コスト二部マッチング問題として定式化することで、SEALは誤ってアライメントされたアノテーションを是正し、より鋭く正確なエッジを生成する。SBDおよびCityscapesベンチマークで最先端の性能を達成するとともに、ノイズの多いラベル品質の向上も実現した。

ABSTRACT

Edge detection is among the most fundamental vision problems for its role in perceptual grouping and its wide applications. Recent advances in representation learning have led to considerable improvements in this area. Many state of the art edge detection models are learned with fully convolutional networks (FCNs). However, FCN-based edge learning tends to be vulnerable to misaligned labels due to the delicate structure of edges. While such problem was considered in evaluation benchmarks, similar issue has not been explicitly addressed in general edge learning. In this paper, we show that label misalignment can cause considerably degraded edge learning quality, and address this issue by proposing a simultaneous edge alignment and learning framework. To this end, we formulate a probabilistic model where edge alignment is treated as latent variable optimization, and is learned end-to-end during network training. Experiments show several applications of this work, including improved edge detection with state of the art performance, and automatic refinement of noisy annotations.

研究の動機と目的

• ディープラーニングの進展にもかかわらず、エッジ検出におけるラベルの誤アライメントがモデル性能を低下させるという重要な課題に対処すること。
• トレーニング中にエッジ検出を学びつつ、ノイズが多く誤ってアライメントされた正解アノテーションを同時に精錬する統合フレームワークの開発。
• エッジアライメントを微分可能でエンド・ツー・エンドのトレーニングプロセス内での潜在変数最適化問題としてモデル化することで、エッジ検出の品質を向上させること。
• ラベルの誤アライメントを是正することで、エッジ予測がより鋭くなり、より正確になり、一般化性能が向上することを示すこと。
• 提案手法がSBDやCityscapesといった標準ベンチマークで、既存の最先端モデルを上回ることを示すこと。

提案手法

• 確率的グラフィカルモデル内において、エッジアライメントを潜在変数最適化問題として定式化し、正解エッジを観測されない変数として推論する。
• 予測されたエッジピクセルと正解エッジピクセルの間の最小コスト二部マッチング問題としてアライメントプロセスをモデル化し、微分可能最適化を可能にする。
• 完全畳み込みネットワーク（FCN）バックボーンにアライメントモジュールを統合し、バックプロパゲーションを用いたエンド・ツー・エンドトレーニングを可能にする。
• 離散的マッチング問題の微分可能リラクゼーションを用いることで、バックプロパゲーション中に勾配が流れることを可能とし、検出とアライメントの共同最適化を実現する。
• 学習可能なエッジ信頼度を用いた再重み付け交差エントロピー損失を採用し、正例と負例のバランスを取ることで、誤検出を低減する。
• 二段階のトレーニング戦略を採用：まず、アライメントモジュールを用いてラベルを精錬する。次に、精錬済みラベルでネットワーク全体をファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 エッジ検出とラベルアライメントの共同学習は、標準的なFCNベースのモデルを上回るエッジ検出性能を実現できるか？
• RQ2 ラベルの誤アライメント是正が、エッジ検出におけるエッジの鋭さ向上と誤検出の低減にどの程度寄与するか？
• RQ3 提案手法は、再アノテーションを必要とせずに、ノイズが多いまたは誤ってアライメントされたアノテーションを自動で精錬できるか？
• RQ4 標準的および精錬済みの評価プロトコルの両方において、SEALの性能は最先端モデルと比較してどうなるか？
• RQ5 SBDやCityscapesのように、アノテーション品質が異なる多様なデータセットに対しても、このフレームワークは一般化可能か？

主な発見

• 標準ベンチマークのSBDテストセットにおいて、SEALは74.4の平均Fスコアを達成し、以前の最先端（71.4）を大きく上回った。
• 高品質なラベルに再アノテートされたSBDテストセットにおいて、'Thin'設定では66.9の平均Fスコアを達成し、CASENet-S（66.4）を上回り、ラベルノイズに対して強い耐性を示した。
• 再アノテートされた正解ラベルとの評価において、元のアノテーション比で12.5%の相対的Fスコア上昇が確認され、密なCRFベースの精錬手法を上回った。
• Cityscapesバリデーションセットでは、全カテゴリで優れた性能を示し、平均Fスコア75.9を達成し、CASENetおよびCASENet-Sを大きく上回った。
• 可視化結果から、SEALはオブジェクト境界に沿ってエッジ予測を段階的に引き締め、厚みを減らし、誤検出を低減していることが明らかになった。
• トレーニング中に誤ってアライメントされたラベルを是正することで、再重み付け損失設定下でもエッジ付近の誤検出が顕著に低減された。