[논문 리뷰] Lightweight Salient Object Detection in Optical Remote-Sensing Images via Semantic Matching and Edge Alignment

Gongyang Li, Zhi Liu외 2명|arXiv (Cornell University)|2023. 01. 07.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 고도의 특징에서의 동적 의미 매칭과 저수준 특징에서의 에지 자기정렬을 활용하여 최소한의 계산 비용으로 높은 정확도를 달성하는 경량의 눈에 띄는 객체 검출 네트워크인 SeaNet을 제안한다. 이 방법은 경량 모델 중에서 최고의 성능을 기록하며, 288×288 입력에 대해 단지 2.76M 파라미터와 1.7G FLOPs를 사용한다.

ABSTRACT

Recently, relying on convolutional neural networks (CNNs), many methods for salient object detection in optical remote sensing images (ORSI-SOD) are proposed. However, most methods ignore the huge parameters and computational cost brought by CNNs, and only a few pay attention to the portability and mobility. To facilitate practical applications, in this paper, we propose a novel lightweight network for ORSI-SOD based on semantic matching and edge alignment, termed SeaNet. Specifically, SeaNet includes a lightweight MobileNet-V2 for feature extraction, a dynamic semantic matching module (DSMM) for high-level features, an edge self-alignment module (ESAM) for low-level features, and a portable decoder for inference. First, the high-level features are compressed into semantic kernels. Then, semantic kernels are used to activate salient object locations in two groups of high-level features through dynamic convolution operations in DSMM. Meanwhile, in ESAM, cross-scale edge information extracted from two groups of low-level features is self-aligned through L2 loss and used for detail enhancement. Finally, starting from the highest-level features, the decoder infers salient objects based on the accurate locations and fine details contained in the outputs of the two modules. Extensive experiments on two public datasets demonstrate that our lightweight SeaNet not only outperforms most state-of-the-art lightweight methods but also yields comparable accuracy with state-of-the-art conventional methods, while having only 2.76M parameters and running with 1.7G FLOPs for 288x288 inputs. Our code and results are available at https://github.com/MathLee/SeaNet.

연구 동기 및 목표

• 광학 위성 영상에서 기존의 CNN 기반 눈에 띄는 객체 검출 방법의 높은 파라미터 수와 계산 비용 문제를 해결한다.
• 이동 및 휴대용 배포에 적합하면서도 높은 정확도를 유지하는 경량 네트워크를 개발한다.
• 특화된 모듈을 사용하여 저수준 및 고수준 특징을 구분하여 처리하여 검출 성능을 향상시킨다.
• 고수준 특징에 대한 동적 의미 매칭 기법과 저수준 특징에 대한 에지 자기정렬 기법을 도입하여 국소화 정확도와 세부 정보 유지 능력을 향상시킨다.

제안 방법

• 광학 위성 영상에서 효율적인 특징 추출을 위해 경량 백본으로 MobileNet-V2를 활용한다.
• 고수준 특징을 의미 핵으로 압축하고 동적 컨벌루션을 적용하여 눈에 띄는 객체 위치를 매칭하는 동적 의미 매칭 모듈(DSMM)을 활용한다.
• DSMM 내에서 채널 간 상관관계 메커니즘을 도입하여 채널 간 특징 상호작용을 향상시켜 의미 표현을 강화한다.
• DSMM에서 확장된 깊이 분리형 컨벌루션(DDconvs)을 적용하여 파라미터 수를 증가시키지 않고 다중 척도의 눈에 띄는 객체를 포착한다.
• 다양한 척도의 에지 특징을 추출하고 L2 손실을 통해 정렬하는 에지 자기정렬 모듈(ESAM)을 제안한다. 이는 에지 세부 정보를 향상시킨다.
• 정밀한 시각화 맵 생성을 위해 정련된 고수준 의미 특징과 향상된 저수준 에지 특징을 융합하는 이식 가능한 디코더를 사용한다.

실험 결과

연구 질문

• RQ1 경량 네트워크가 모델 크기와 FLOPs를 크게 줄이며 ORSI-SOD에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 압축된 의미 핵을 사용한 동적 의미 매칭이 눈에 띄는 객체 위치를 얼마나 효과적으로 포착하는가?
• RQ3 계산 비용을 증가시키지 않으면서도 에지 자기정렬이 저수준 특징의 세부 정보 유지에 얼마나 기여하는가?
• RQ4 채널 수준과 공간 수준의 특징 상호작용이 제안된 모듈의 성능에 어떤 기여를 하는가?

주요 결과

• SeaNet은 EORSSD 데이터셋에서 평균 Fβ 점수 0.8519를 기록하여 CorrNet 및 HVPNet을 포함한 모든 다른 경량 ORSI-SOD 방법보다 뛰어난 성능을 보였다.
• 288×288 입력에 대해 단지 2.76M 파라미터와 1.7G FLOPs를 사용함으로써, PA-KRN(141.06M 파라미터, 617.7G FLOPs)과 같은 최첨단 기존 방법보다 현저히 효율적이었다.
• 제거 실험 결과 DSMM 및 ESAM의 모든 구성 요소가 필수적임을 확인했다: 공간 매칭 제거(w/o SM) 시 Eξ_mean이 0.9595로 감소했고, 에지 정렬 제거(w/o alignment) 시 모든 지표에서 성능 저하가 발생했다.
• DSMM에 확장된 DDconvs를 적용함으로써 다중 척도 객체 인식 능력이 향상되었으며, 비확장된 버전 대비 Fβ_mean에서 성능 저하가 0.29% 감소했다.
• DSMM 및 ESAM에서의 채널 간 상관관계는 필수적이며, 이를 제거할 경우 성능 저하가 심각하게 발생함으로써 채널 간 특징 상호작용의 중요성을 입증했다.
• HVPNet(1.23M 파라미터, 1.1G FLOPs)와 유사한 파라미터 수(1.51M)와 FLOPs(1.4G)를 가지는 SeaNet 변종(SeaNet-SAM)은 Fβ_mean에서 10% 이상 뛰어난 성능을 보였으며, 이는 뛰어난 효율-정확도 트레이드오프를 입증한다.