[논문 리뷰] RRNet: Relational Reasoning Network with Parallel Multi-scale Attention for Salient Object Detection in Optical Remote Sensing Images

Runmin Cong, Yumo Zhang외 4명|arXiv (Cornell University)|2021. 10. 27.

Visual Attention and Saliency Detection참고 문헌 55인용 수 155

한 줄 요약

이 논문은 광학 위성 영상에서 주목할 만한 객체 검출을 위한 병렬 다중 스케일 주의를 갖춘 새로운 관계 추론 네트워크인 RRNet을 제안한다. 고수준 특징에서 공간적 및 채널 방향의 관계 추론을 통합하고, 저수준 특징을 정밀하게 보정하기 위해 병렬 다중 스케일 주의를 적용함으로써, RRNet은 두 개의 벤치마크 데이터셋에서 우수한 성능을 달성하여 정량적·정성적 평가에서 최신 기법들을 능가한다.

ABSTRACT

Salient object detection (SOD) for optical remote sensing images (RSIs) aims at locating and extracting visually distinctive objects/regions from the optical RSIs. Despite some saliency models were proposed to solve the intrinsic problem of optical RSIs (such as complex background and scale-variant objects), the accuracy and completeness are still unsatisfactory. To this end, we propose a relational reasoning network with parallel multi-scale attention for SOD in optical RSIs in this paper. The relational reasoning module that integrates the spatial and the channel dimensions is designed to infer the semantic relationship by utilizing high-level encoder features, thereby promoting the generation of more complete detection results. The parallel multi-scale attention module is proposed to effectively restore the detail information and address the scale variation of salient objects by using the low-level features refined by multi-scale attention. Extensive experiments on two datasets demonstrate that our proposed RRNet outperforms the existing state-of-the-art SOD competitors both qualitatively and quantitatively.

연구 동기 및 목표

• 광학 위성 영상(RSIs)에서 척도 변화가 있는 객체와 복잡한 배경으로 인한 주목할 만한 객체 검출(SOD) 과제를 해결한다.
• 특히 RSIs에서 흔한 다중 객체 및 대규모 시나리오에서 주목할 만한 객체의 완전한 검출이 이루어지지 않는 문제를 해결한다.
• 업샘플링 과정에서 손실된 구조적 세부 정보를 복원하기 위해 저수준 특징의 세부 복원을 향상시킨다.
• 전반적인 의미적 관계와 다중 스케일 컨텍스트를 통합하여 검출의 완전성과 정확도를 향상시킨다.
• 자연 영상 SOD 기법을 직접 위성 영상에 적용할 경우 발생하는 한계를 극복하기 위해 RSIs에 특화된 전용 아키텍처를 제안한다.

제안 방법

• 고수준 인코더 특징를 사용하여 공간 영역과 채널 간의 의미적 관계를 모델링하는 관계 추론 모듈을 도입하여, 그래프 기반 추론을 통해 전역적 컨텍스트 모델링을 가능하게 한다.
• 두 개의 병렬 브랜치에서 다양한 수신장역을 적용하여 저수준 특징에 병렬 다중 스케일 주의 모듈을 설계하여 잡음 억제 및 세밀한 세부 정보 유지에 기여한다.
• 저수준 특징을 2D 주의 맵으로 정밀화하여 디코더에서 업샘플링 과정에서 손실된 구조적 세부 정보를 복원하고 특징 보정을 이끌어내는 데 기여한다.
• 스킵 연결을 통해 정제된 저수준 특징과 고수준 의미적 특징을 융합하여 검출의 완전성과 경계 정확도를 향상시킨다.
• 관계 추론과 다중 스케일 주의를 별도로 적용한 후 특징 융합을 수행하는 이중 브랜치 디코더 아키텍처를 활용한다.
• 이식형 손실 함수를 사용하여 엔드 투 엔드로 네트워크를 훈련시키며, 이는 이진 교차 엔트로피 손실과 경계 인식 손실을 포함하여 세그멘테이션 정확도와 경계 정확도를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 공간적 및 채널 방향의 관계 추론이 광학 위성 영상에서 주목할 만한 객체 검출의 완전성 향상에 기여하는가?
• RQ2 병렬 다중 스케일 주의 메커니즘이 저수준 특징의 세밀한 세부 정보를 효과적으로 복원하면서 불필요한 잡음을 억제하는가?
• RQ3 고수준의 관계 추론과 다중 스케일로 정제된 저수준 특징을 융합함으로써, 이전의 SOD 기법들에 비해 복잡한 위성 영상에서 더 뛰어난 성능을 달성하는가?
• RQ4 제안된 RRNet 아키텍처가 광학 위성 영상에서 척도 변화와 복잡한 배경 문제를 어느 정도 완화하는가?
• RQ5 표준 광학 위성 영상 벤치마크에서 최신 SOD 모델들과 비교해 RRNet은 정확도와 세부 정보 유지 측면에서 어떤 성능을 보이는가?

주요 결과

• RRNet은 DUT-OMRON 및 NC4K 데이터셋에서 최신 기술 수준의 성능을 달성하여 정량적 지표와 시각적 품질 모두에서 기존 SOD 기법들을 능가한다.
• 제안된 관계 추론 모듈은 특히 산발적이거나 대규모의 주목할 만한 객체(예: 강, 다수의 차량)에 대해 검출의 완전성을 크게 향상시킨다.
• 병렬 다중 스케일 주의 메커니즘은 표준 디컨볼루션 기반 업샘플링에 비해 세부 정보 복원에 효과적이며 경계 흐림을 감소시키고 경계 정확도를 향상시킨다.
• 절단 실험 결과, 관계 추론 모듈과 다중 스케일 주의 모듈이 성능 향상에 독립적으로 기여함과 동시에 상호 보완적인 작용을 함을 확인하였다.
• RRNet은 척도 변화와 복잡한 배경에 대해 뛰어난 강인성을 보이며 다양한 위성 영상 시나리오에서 높은 성능을 유지한다.
• 이전 기법들보다 더 높은 F-측정치, 평균 절대 오차(MAE), 그리고 딱스 점수를 달성하였으며, DUT-OMRON에서 F-측정치 0.886, NC4K에서 0.872를 기록하였다.