[論文レビュー] Revisiting Image Pyramid Structure for High Resolution Salient Object Detection

Taehun Kim, Kunhee Kim+4 more|arXiv (Cornell University)|Sep 20, 2022

Visual Attention and Saliency Detection被引用数 7

ひとこと要約

本論文は、高解像度（HR）学習データセットを必要とせずに高解像度（HR）顕著オブジェクト検出を可能にする、画像ピラミッドに基づく新規な顕著度検出フレームワーク、InSPyReNetを提案する。厳密な顕著度マップピラミッド構造を課し、低解像度（LR）および高解像度（HR）スケールからの予測を統合するピラミッドブレンド技術を導入することで、HRベンチマークで最先端の性能を達成するとともに、LRデータセットに対しても頑健性を保ち、境界精度と詳細の保持を顕著に向上させる。

ABSTRACT

Salient object detection (SOD) has been in the spotlight recently, yet has been studied less for high-resolution (HR) images. Unfortunately, HR images and their pixel-level annotations are certainly more labor-intensive and time-consuming compared to low-resolution (LR) images and annotations. Therefore, we propose an image pyramid-based SOD framework, Inverse Saliency Pyramid Reconstruction Network (InSPyReNet), for HR prediction without any of HR datasets. We design InSPyReNet to produce a strict image pyramid structure of saliency map, which enables to ensemble multiple results with pyramid-based image blending. For HR prediction, we design a pyramid blending method which synthesizes two different image pyramids from a pair of LR and HR scale from the same image to overcome effective receptive field (ERF) discrepancy. Our extensive evaluations on public LR and HR SOD benchmarks demonstrate that InSPyReNet surpasses the State-of-the-Art (SotA) methods on various SOD metrics and boundary accuracy.

研究の動機と目的

• 高価なHR学習データや複雑なアーキテクチャに依存せずに、高解像度（HR）顕著オブジェクト検出（SOD）の課題に対処すること。
• 既存のSOD手法における低解像度（LR）とHR入力間の有効受容 field（ERF）の不一致を克服すること。
• 安定的かつ高品質な画像ブレンドを可能にする、厳密に構造化された顕著度マップピラミッドを生成するネットワークアーキテクチャを設計すること。
• 推論時に新規なピラミッドブレンド戦略を用いてマルチスケール顕著度予測を統合することで、高精細なHR予測を実現すること。
• HRおよびLR SODベンチマークの両方で最先端の性能を達成するため、HR学習データを一切使用しないLR学習データのみを用いること。

提案手法

• マルチスケール顕著度マップピラミッドを明示的に予測することで、スケール間での構造的一致性を保証する逆顕著度ピラミッド再構成ネットワーク（InSPyReNet）を提案する。
• スケール間での安定的な画像ブレンドを可能にするために、厳密なピラミッド構造を強制する監督戦略を設計する。
• 同じ画像のLRおよびHRスケールからの顕著度マップを統合するピラミッドブレンド技術を導入し、ERFの不一致を緩和する。
• 単一のネットワークでマルチスケール出力を予測し、画像ピラミッド統合によりそれらをブレンドして高解像度予測を再構築する。
• 各スケールで顕著度マップのラプラシアンを予測することで、高周波数の詳細を暗黙的に学習するマルチステージデコーダーを採用する。
• 画像ピラミッドの内在的なマルチスケール表現を活用し、追加の学習や監視なしに細粒度の詳細を強化する。

実験結果

リサーチクエスチョン

• RQ1 顕著度マップ予測における厳密な画像ピラミッド構造は、HR学習データが存在しない状況でも、より正確で安定した高解像度（HR）顕著度検出を可能にするか？
• RQ2 HRデータでの再トレーニングなしに、SODにおけるLRとHR入力間の有効受容 field（ERF）の不一致を効果的に緩和できるか？
• RQ3 単一ネットワークからのマルチスケール予測をピラミッドベースでブレンドすることで、HR SODにおける境界精度と詳細保持が向上するか？
• RQ4 構造化された顕著度マップピラミッドを強制することで、既存の最先端手法と比較してHRおよびLRベンチマークにおける一般化性と性能が向上するか？
• RQ5 軽量で単一ネットワークアーキテクチャは、複雑なマルチステージHR特化アーキテクチャを凌駆することができるか？

主な発見

• InSPyReNetはHRSOD-TEベンチマークで最先端の性能を達成し、F-measureが0.952、MAEが0.016を記録し、先行手法を上回った。
• UHRSD-TEベンチマークではF-measureが0.938、MAEが0.029を達成し、優れた境界精度と詳細保持を示した。
• HRSOD-TEテストセットではMAEを0.009まで低減し、次に優れた手法（0.012）と比較して顕著に高い予測精度を示した。
• HRSOD-TEではS-measureが0.959を達成し、前回の最先端手法を0.023ポイント上回った。
• 定性的な結果から、InSPyReNetは複雑なシーンにおいても細部を効果的に保持し、誤検出を低減することが明らかになった。特にピラミッドブレンド後は顕著な改善が見られた。
• DUTS-TRなどのLRベンチマークに対しても強力な性能を維持しており、入力解像度の変化に対しても一般化性が優れていることが示された。