[논문 리뷰] CMA-Net: A Cascaded Mutual Attention Network for Light Field Salient Object Detection

Yi Zhang, Lu Zhang외 2명|arXiv (Cornell University)|2021. 05. 03.

Visual Attention and Saliency Detection참고 문헌 51인용 수 4

한 줄 요약

CMA-Net는 모든 초점이 맞춰진 (AiF) 이미지와 심도 맵으로부터 고수준 특징을 융합하는 계단식 상호 주의망을 제안하며, 두 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 53 fps의 높은 추론 속도를 유지하여 기존 30개의 SOD 방법을 능가한다.

ABSTRACT

In the past few years, numerous deep learning methods have been proposed to address the task of segmenting salient objects from RGB images. However, these approaches depending on single modality fail to achieve the state-of-the-art performance on widely used light field salient object detection (SOD) datasets, which collect large-scale natural images and provide multiple modalities such as multi-view, micro-lens images and depth maps. Most recently proposed light field SOD methods have acquired improving detecting accuracy, yet still predict rough objects' structures and perform slow inference speed. To this end, we propose CMA-Net, which consists of two novel cascaded mutual attention modules aiming at fusing the high level features from the modalities of all-in-focus and depth. Our proposed CMA-Net outperforms 30 SOD methods on two widely applied light field benchmark datasets. Besides, the proposed CMA-Net is able to inference at the speed of 53 fps. Extensive quantitative and qualitative experiments illustrate both the effectiveness and efficiency of our CMA-Net.

연구 동기 및 목표

• 다중 모odal 데이터를 포함한 복잡한 라이트 필드 데이터를 처리하는 데에 한계가 있는 단일 모odal RGB SOD 방법의 문제점을 해결한다.
• 모든 초점이 맞춰진 이미지와 심도 맵에서 다중 모달 특징을 융합하는 데 있어 전통적인 주의 메커니즘의 비효율성을 극복한다.
• 저수준 특징이나 초점 스택을 처리하지 않으며, 고속 추론을 가능하게 하는 빠르고 정확한 딥 러닝 프레임워크를 개발한다.
• 고수준 특징 융합을 위한 상호 주의의 효과성과 라이트 필드 SOD에서 심도 정보의 필수성을 입증한다.

제안 방법

• 모든 초점이 맞춰진 (AiF) 이미지와 심도 맵 간의 교차 모달 특징 정련을 가능하게 하는 새로운 상호 주의 메커니즘을 제안한다. 이는 고수준 특징 수준에서 작동한다.
• AiF 및 심도 모달리티에서 특징을 점진적으로 융합하고 디코딩하기 위해 두 개의 순차적 상호 주의 모듈을 갖춘 계단식 아키텍처를 설계한다.
• AiF 및 심도 입력을 위한 공유 백본을 갖춘 이중 브랜치 인코더를 구성한 후, 디코딩 단계에서 계단식 주의 모듈을 적용한다.
• 저수준 특징이나 초점 스택을 처리하지 않아 계산 비용을 줄이고 고속 추론을 가능하게 한다.
• 상호 주의 모듈을 플러그인 컴ponent로 통합하여 다른 네트워크에 다중 모달 융합을 위해 쉽게 통합할 수 있도록 한다.
• 다중 척도 감시 및 Fβ, Sα, Eϕ, M 등의 손실 함수를 사용하여 정밀도, 재현율, 구조적 일치도 최적화를 위해 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 상호 주의 메커니즘이 모든 초점이 맞춰진 이미지와 심도 맵의 고수준 특징을 효과적으로 융합하여 라이트 필드 SOD 성능을 향상시킬 수 있는가?
• RQ2 상호 주의 모듈의 계단식 설계가 단일 또는 병렬 주의 모듈보다 더 높은 성능을 내는가?
• RQ3 제안된 방법은 높은 추론 속도를 유지하면서도, 특히 초점 스택 기반 방법과 비교해 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 심도 정보는 라이트 필드 SOD에서 뛰어난 성능을 달성하기 위해 필수적인가? 심도 정보가 부재할 경우 탐지 품질에 어떤 영향을 미치는가?
• RQ5 제안된 CMA-Net는 DUT-LF 및 HFUT과 같은 다양한 라이트 필드 데이터셋에서 어떻게 일반화되는가?

주요 결과

• DUT-LF 및 HFUT 데이터셋에서 CMA-Net은 Fβ (0.917), Sα (0.918), Eϕ (0.949), M (0.033)의 네 가지 지표에서 30개의 최신 기술 수준 SOD 방법 중에서 가장 높은 성능을 기록했다.
• HFUT 데이터셋에서 CMA-Net은 Fβ 0.744, Sα 0.807, Eϕ 0.865, M 0.069를 기록하여 모든 베이스라인을 능가했다.
• 모델은 53 fps의 추론 속도를 달성하여 최상위 성능을 보인 ERNetT(14 fps)보다 뚜렷이 빠르며, 높은 효율성을 입증했다.
• 절단 실험 결과 심도 정보가 성능 향상에 기여하며, 심도 정보를 포함한 Model-2가 심도 정보가 없는 Model-1보다 뚜렷한 성능 격차를 보였다.
• 두 개의 상호 주의 모듈을 계단식으로 연결하면 최고의 성능을 달성했으며, Model-4(2단계 및 3단계에 하나의 모듈)와 CMA-Net(전체 계단식) 모두 점진적인 성능 향상을 보였다.
• F/E-측도 곡선은 CMA-Net이 모든 임계값(τ ∈ [0,255])에서 모든 베이스라인을 일관되게 능가함을 보여주며, 강건성과 일반화 능력을 입증한다.