[論文レビュー] Pyramid Grafting Network for One-Stage High Resolution Saliency Detection

C. Xie, Changqun Xia+4 more|arXiv (Cornell University)|Apr 11, 2022

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本稿では、高解像度のサリエンシー検出のためのワンステージフレームワークとして、ピラミッドグラフトイングネットワーク（PGNet）を提案する。この手法は、CNNとトランスフォーマーベースのバックボーンからの特徴をクロスモードグラフトイングモジュール（CMGM）を介して統合することで、グローバルな文脈と微細なディテールの両方を保持する。本手法は、4K–8K解像度の新しいデータセットUHRSDを含む高解像度ベンチマークで最先端の性能を達成した。

ABSTRACT

Recent salient object detection (SOD) methods based on deep neural network have achieved remarkable performance. However, most of existing SOD models designed for low-resolution input perform poorly on high-resolution images due to the contradiction between the sampling depth and the receptive field size. Aiming at resolving this contradiction, we propose a novel one-stage framework called Pyramid Grafting Network (PGNet), using transformer and CNN backbone to extract features from different resolution images independently and then graft the features from transformer branch to CNN branch. An attention-based Cross-Model Grafting Module (CMGM) is proposed to enable CNN branch to combine broken detailed information more holistically, guided by different source feature during decoding process. Moreover, we design an Attention Guided Loss (AGL) to explicitly supervise the attention matrix generated by CMGM to help the network better interact with the attention from different models. We contribute a new Ultra-High-Resolution Saliency Detection dataset UHRSD, containing 5,920 images at 4K-8K resolutions. To our knowledge, it is the largest dataset in both quantity and resolution for high-resolution SOD task, which can be used for training and testing in future research. Sufficient experiments on UHRSD and widely-used SOD datasets demonstrate that our method achieves superior performance compared to the state-of-the-art methods.

研究の動機と目的

• 既存のサリエンシー検出モデルが高解像度画像において性能を発揮できない理由（受容野の制限と微細ディテールの損失）を解消すること。
• マルチステージの高解像度SOD手法に起因する限界（誤差の累積と高い推論コスト）を克服すること。
• CNNとトランスフォーマー特徴を効果的に統合できる、ワンステージで効率的かつ高精度なフレームワークを設計すること。
• 今後の研究を支援するため、新しい大規模かつ高解像度のサリエンシー検出データセット（UHRSD）を提供すること。

提案手法

• PGNetは二本のブランチからなるエンコーダーを採用：一つはResNetベースのCNN、もう一つはSwin Transformer。両者は入力画像を独立してフル解像度で処理する。
• クロスモードグラフトイングモジュール（CMGM）により、トランスフォーマーブランチの対応する特徴を注目し、同じ空間スケールでCNNブランチに統合する。
• CMGMはアテンションメカニズムを用いてグラフトイングプロセスをガイドし、CNNブランチがトランスフォーマーからのグローバルな意味的ヒントを統合しつつも、空間的ディテールを保持できるようにする。
• CMGM内のアテンションマトリクスを監視するためのアテンションガイドド損失（AGL）を導入し、二本のブランチ間のアライメントと特徴統合を向上させる。
• 最終デコーダーステージの特徴マップを予測に使用し、標準損失とAGLの組み合わせによりエンドツーエンドでネットワークを訓練する。
• 本手法は、新しく導入されたUHRSDデータセット（4K–8K解像度、5,920枚）を含む低解像度および高解像度のベンチマークで評価された。

実験結果

リサーチクエスチョン

• RQ1 CNNとトランスフォーマー特徴を統合することで、ワンステージのディープラーニングフレームワークが高解像度サリエンシー検出を効果的に処理できるか？
• RQ2 アテンションを用いたブランチ間特徴グラフトイングは、高解像度SODにおけるディテール保持とグローバル文脈統合をどのように向上させるか？
• RQ3 大規模かつ高解像度のデータセット（UHRSD）で学習させることで、未観測の高解像度画像に対する一般化性能と性能がどの程度向上するか？
• RQ4 提案されたアテンションガイドド損失（AGL）は、クロスモードグラフトイングにおけるアテンションアライメントと特徴統合品質を向上させるか？

主な発見

• PGNetは、低解像度（DUTS-TE）および高解像度（UHRSD-TE）ベンチマークの両方で最先端の性能を達成し、UHRSD-TEではFβ^Maxが0.949、MAEが0.026を記録した。
• UHRSD-TRとHRSOD-TRの混合データセットで学習させた場合、UHRSD-TEでの性能が優れた結果を示し、高解像度アノテーションが一般化性能の向上に寄与することが示された。
• アブレーションスタディの結果、R5-S2（CNNの残留ブロック5とトランスフォーマーのステージ2）でのグラフトイングが最良の性能を示し、UHRSD-TEではFβ^Maxが0.946を記録した。
• アテンションガイドド損失（AGL）を導入することで性能が顕著に向上し、ベースライン（AGLなし）と比較してUHRSD-TEでのFβ^Maxが0.004上昇した。
• 可視化結果から、PGNetはより鋭い境界を生成し、従来手法が見逃しがちな小さなサリエンシー物体を効果的に捉えていることが示された。
• 4K–8K解像度の5,920枚の画像を含むUHRSDデータセットは、現在までに入手可能な最大規模かつ最高解像度のSODデータセットである。