[論文レビュー] Dynamic Feature Fusion for Semantic Edge Detection

Yuan Hu, Yunpeng Chen+2 more|arXiv (Cornell University)|Feb 25, 2019

Advanced Neural Network Applications参考文献 16被引用数 5

ひとこと要約

本稿では、入力コンテンツに応じて位置固有の融合重みを自己適応的に学習する動的特徴融合（DFF）という新しい手法を提案する。これにより、多層特徴のバランスを動的に制御し、鋭いエッジ予測が可能になる。このアプローチは固定重み融合や最先端手法を上回り、Cityscapesでは80.7% MF（ODS）およびSBDでは75.4%を達成し、新たなSOTA結果を樹立した。

ABSTRACT

Features from multiple scales can greatly benefit the semantic edge detection task if they are well fused. However, the prevalent semantic edge detection methods apply a fixed weight fusion strategy where images with different semantics are forced to share the same weights, resulting in universal fusion weights for all images and locations regardless of their different semantics or local context. In this work, we propose a novel dynamic feature fusion strategy that assigns different fusion weights for different input images and locations adaptively. This is achieved by a proposed weight learner to infer proper fusion weights over multi-level features for each location of the feature map, conditioned on the specific input. In this way, the heterogeneity in contributions made by different locations of feature maps and input images can be better considered and thus help produce more accurate and sharper edge predictions. We show that our model with the novel dynamic feature fusion is superior to fixed weight fusion and also the naïve location-invariant weight fusion methods, via comprehensive experiments on benchmarks Cityscapes and SBD. In particular, our method outperforms all existing well established methods and achieves new state-of-the-art.

研究の動機と目的

• 画像や位置におけるコンテンツおよび空間的変動を考慮しない固定重み融合の限界を是正すること。
• 局所的な画像コンテンツおよび空間的文脈に応じて、適応的に異なる融合重みを割り当てる動的融合機構を開発すること。
• コンテンツに適応した融合により、低レベル特徴と高レベル特徴をより効果的に活用し、エッジ検出性能を向上させること。
• より正確で鋭いエッジ局所化を可能にするために、CityscapesやSBDなどのベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 融合前に多層特徴マップを同じスケールに再スケーリングするための新しい正規化子を提案し、各レベルの寄与度をバランスさせる。
• 入力コンテンツに条件づけられた、位置に適応した重み学習器を設計し、各空間的位置に対して融合重みを生成する。
• 活性化関数を適用しない学習可能な融合重みモジュールを採用し、重みの合計が1に固定されない柔軟で制約のない融合重みを可能にする。
• 学習された空間的に変化する重みを用いて、高レベルの意味的特徴と低レベルのカテゴリに依存しないエッジ特徴を動的に統合する。
• 二本のブランチ構造を採用：正規化子を備えた特徴抽出器と、動的統合を実行する適応的重み融合モジュール。
• 融合重みにソフトマックスなどの活性化関数を適用しないことで、動的範囲を完全に維持し、特徴マップ同士の競合を回避する。

実験結果

リサーチクエスチョン

• RQ1 多層特徴を用いても、なぜ固定重み融合は最適な結果を生まないのか？
• RQ2 適応的かつコンテンツに依存する融合重みは、エッジ局所化の正確性を向上させ、物体内部の誤検出を低減できるか？
• RQ3 局所的画像コンテンツに基づく動的統合は、固定または位置不変な統合戦略と比較して、性能および頑健性において優れているか？
• RQ4 動的特徴統合は、ノイズを抑制しながら低レベル特徴をどれだけ活用してエッジの詳細を向上させられるか？
• RQ5 提案手法は、異なるバックボーンネットワークや入力解像度においても一般化可能か？

主な発見

• 提案されたDFFモデルは、Cityscapesデータセットで80.7% MF（ODS）を達成し、すべての先行SOTA手法を上回った。
• Cityscapesでより厳しい一致許容誤差（0.0035）を適用した場合、DFFはSEALを5%上回り、優れたエッジ局所化正確性を示した。
• SBDデータセットでは、DFFが75.4% MF（ODS）を達成し、新たなSOTA性能を樹立した。
• ResNet101をResNet50に比べて使用した場合、性能が1.5%向上した。これは、より深いバックボーンにおいても強い一般化性能を示している。
• 提案された正規化子を削除すると性能が1.5%低下した。これは、多層特徴のバランスを保つ上でその重要性が確認されたことを示している。
• 融合重みにソフトマックス活性化を適用すると性能が0.3%低下した。これは、制約のない重みが動的統合においてより効果的であることを裏付けている。