[論文レビュー] CMA-Net: A Cascaded Mutual Attention Network for Light Field Salient Object Detection

Yi Zhang, Lu Zhang+2 more|arXiv (Cornell University)|May 3, 2021

Visual Attention and Saliency Detection参考文献 51被引用数 4

ひとこと要約

CMA-Netは、すべての焦点が合った（AiF）画像と深度マップからのハイレベル特徴を統合する段階的相互注意ネットワークを提案する。この手法は、2つのベンチマークデータセットで最先端の性能を達成するとともに、53 fpsという高い推論速度を維持しており、30の既存のSOD手法を上回っている。

ABSTRACT

In the past few years, numerous deep learning methods have been proposed to address the task of segmenting salient objects from RGB images. However, these approaches depending on single modality fail to achieve the state-of-the-art performance on widely used light field salient object detection (SOD) datasets, which collect large-scale natural images and provide multiple modalities such as multi-view, micro-lens images and depth maps. Most recently proposed light field SOD methods have acquired improving detecting accuracy, yet still predict rough objects' structures and perform slow inference speed. To this end, we propose CMA-Net, which consists of two novel cascaded mutual attention modules aiming at fusing the high level features from the modalities of all-in-focus and depth. Our proposed CMA-Net outperforms 30 SOD methods on two widely applied light field benchmark datasets. Besides, the proposed CMA-Net is able to inference at the speed of 53 fps. Extensive quantitative and qualitative experiments illustrate both the effectiveness and efficiency of our CMA-Net.

研究の動機と目的

• 複数のモダリティを有する複雑な光場データを扱う際、単一モダリティのRGB SOD手法の限界を解消すること。
• すべての焦点が合った画像と深度マップからのマルチモーダル特徴を統合する際、従来の注意メカニズムの非効率性を克服すること。
• 低レベル特徴やフォーカルスタックの処理を回避することで、計算コストを低減し、高速かつ高精度な深層学習フレームワークを光場SOD用に開発すること。
• ハイレベル特徴統合における相互注意の有効性と、光場SODにおける深度情報の必要性を実証すること。

提案手法

• ハイレベル特徴レベルで、すべての焦点が合った（AiF）画像と深度マップの間でクロスモダリティ特徴の最適化を可能にする、新しい相互注意メカニズムを提案する。
• AiFおよび深度モダリティからの特徴を段階的に統合・復号化するため、2つの連続する相互注意モジュールを備えた段階的アーキテクチャを設計する。
• AiFおよび深度入力の両方を処理する共有バックボーンを備えたデュアルブランチエンコーダを構築し、復号段階で段階的注意モジュールを適用する。
• フォーカルスタックや低レベル特徴の処理を回避することで、計算コストを削減し、高速推論を実現する。
• 相互注意モジュールをプラグイン型コンponentとして統合し、他のネットワークへのマルチモーダル統合に容易に組み込めるようにする。
• Fβ、Sα、Eϕ、Mを含むマルチスケールの監督と損失関数を用いて学習することで、精度、再現率、構造的整合性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 相互注意メカニズムは、すべての焦点が合った画像と深度マップからのハイレベル特徴を効果的に統合できるか？
• RQ2 相互注意モジュールの段階的設計は、単一または並列な注意モジュールよりも優れた性能をもたらすか？
• RQ3 提案手法は、フォーカルスタックベースの手法と比較して、最先端の性能を維持しながら高い推論速度を達成できるか？
• RQ4 深度情報は、光場SODで優れた性能を達成するために不可欠であるか？その欠如が検出品質に与える影響は？
• RQ5 提案されたCMA-Netは、DUT-LFやHFUTなどの多様な光場データセットに一般化できるか？

主な発見

• DUT-LFおよびHFUTの両データセットにおいて、CMA-Netは30の最先端SOD手法の中で、Fβ（0.917）、Sα（0.918）、Eϕ（0.949）、M（0.033）という4つの指標で最高の性能を達成した。
• HFUTデータセットでは、Fβが0.744、Sαが0.807、Eϕが0.865、Mが0.069を記録し、すべてのベースラインを上回った。
• 推論速度は53 fpsを達成しており、トップパフォーマンスを示したERNetT（14 fps）を大きく上回り、高い効率性を示した。
• アブレーションスタディの結果、深度情報が性能向上に寄与することが確認され、深度情報を含むModel-2は、深度情報を含まないModel-1を明確に上回った。
• 2つの相互注意モジュールを段階的に配置した場合が最良の性能を示し、Model-4（2番目および3番目の段階に1つのモジュール）とCMA-Net（完全な段階的構造）では、段階的な向上が見られた。
• F/E-measure曲線は、すべてのしきい値τ ∈ [0,255] において、CMA-Netがすべてのベースラインを一貫して上回っていることを示し、ロバストネスと一般化性能の高さを裏付けた。