[논문 리뷰] Towards Complex Backgrounds: A Unified Difference-Aware Decoder for Binary Segmentation

Jiepan Li, Wei He외 1명|arXiv (Cornell University)|2022. 10. 27.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 복잡한 배경에서 전경-배경 구분을 향상시키기 위해 인간의 시각 주의를 모방하는 통합 이중 브랜치 차별 인식 디코더(DAD)를 제안한다. 다단계 특징 활용을 통해 지도 지도 생성, 배경 인지 특징 융합, 차별 지도 강화의 세 단계를 거치며, 주목적 객체 검출, 은폐된 객체 검출, 폴립 세분화, 거울 검출 등의 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Binary segmentation is used to distinguish objects of interest from background, and is an active area of convolutional encoder-decoder network research. The current decoders are designed for specific objects based on the common backbones as the encoders, but cannot deal with complex backgrounds. Inspired by the way human eyes detect objects of interest, a new unified dual-branch decoder paradigm named the difference-aware decoder is proposed in this paper to explore the difference between the foreground and the background and separate the objects of interest in optical images. The difference-aware decoder imitates the human eye in three stages using the multi-level features output by the encoder. In Stage A, the first branch decoder of the difference-aware decoder is used to obtain a guide map. The highest-level features are enhanced with a novel field expansion module and a dual residual attention module, and are combined with the lowest-level features to obtain the guide map. In Stage B, the other branch decoder adopts a middle feature fusion module to make trade-offs between textural details and semantic information and generate background-aware features. In Stage C, the proposed difference-aware extractor, consisting of a difference guidance model and a difference enhancement module, fuses the guide map from Stage A and the background-aware features from Stage B, to enlarge the differences between the foreground and the background and output a final detection result. The results demonstrate that the difference-aware decoder can achieve a higher accuracy than the other state-of-the-art binary segmentation methods for these tasks.

연구 동기 및 목표

• 전경 객체가 배경과 시각적으로 유사하거나 구분이 어려운 복잡한 배경에서 정확한 이진 세분화를 해결한다.
• 과제에 특화된 디코더의 한계를 극복하기 위해 다양한 이진 세분화 과제에 적용 가능한 통합 디코더 아키텍처를 설계한다.
• 인간 시각 시스템의 세 단계 검출 과정(일반적인 검출, 배경 주의, 차별 강화)을 모방하여 특징 표현을 향상시킨다.
• 필드 확장 모듈, 이중 잔차 주의, 차별 인식 융합 기법과 같은 새로운 모듈을 사용하여 특징의 구분 능력을 향상시킨다.
• VGG, ResNet, Res2Net, PVT와 같은 표준 백본을 사용하여 여러 이진 세분화 과제에서 일반화 및 강인성을 입증한다.

제안 방법

• 단계 A는 최고 및 최저 수준의 인코더 특징을 사용하여 필드 확장 모듈(FEM)과 이중 잔차 주의를 활용해 관심 객체 위치 추적을 위한 지도 지도를 생성한다.
• 단계 B는 중간 수준의 특징에서 의미적 정보와 질감 정보의 균형을 맞추기 위해 중간 특징 융합(MFF) 모듈을 활용하여 배경 인지 특징을 생성한다.
• 단계 C는 지도 지도와 배경 인지 특징을 차별 인식 추출기(DAE)를 통해 융합하며, 이는 차별 지도 모델(DGM)과 차별 강화 모듈(DEM)을 조합한다.
• DGM은 교차 주의 유사 메커니즘을 사용하여 지도 지도의 사전 지식을 활용해 특징을 정밀화하여 전경 관련성을 향상시킨다.
• DEM은 전경 - 배경의 특징 뺄셈을 수행하여 객체와 배경 간의 차이를 강화함으로써 세분화 정밀도를 향상시킨다.
• DAE 모듈은 플러그 앤 플레이 구성 요소로 설계되었으며, 최적의 성능을 얻기 위해 두 번 반복할 수 있다. 이는 과도한 사용으로 인한 성능 저하를 방지하기 위함이다.

실험 결과

연구 질문

• RQ1 통합 디코더 아키텍처가 복잡한 배경을 가진 다양한 이진 세분화 과제를 효과적으로 처리할 수 있는가?
• RQ2 딥 러닝 기반 세분화 프레임워크에서 인간의 시각 주의 메커니즘을 효과적으로 모델링할 수 있는가?
• RQ3 전경 위치 추적과 배경 구분을 동시에 향상시키는 데 최적화된 디코더의 설계는 무엇인가?
• RQ4 각 구성 요소(FEM, MFF, DGM, DEM)가 복잡한 배경 환경에서의 전체 성능 향상에 기여하는 방식은 무엇인가?
• RQ5 제안된 차별 인식 융합 전략이 이진 세분화 과제에서 표준 특징 융합 또는 주의 메커니즘보다 우수한가?

주요 결과

• 차별 인식 디코더(DAD)는 주목적 객체 검출(SOD), 은폐된 객체 검출(COD), 폴립 세분화, 거울 검출의 네 가지 이진 세분화 과제에서 최신 기술 수준(SOTA) 성능을 달성한다.
• CAMO 데이터셋에서 DAD는 $E_{\rho}$가 0.895이고 $M$이 0.063을 기록하며, SOTA 방법인 BASNet(0.887, 0.068)을 두 지표에서 모두 초월한다.
• COD10K 데이터셋에서 DAD는 $E_{\rho}$가 0.905이고 $M$이 0.032를 기록하며, SINet V2(0.898, 0.038)를 두 지표에서 모두 뛰어넘는다.
• ECSSD에서 DAD는 $E_{\rho}$가 0.963이고 $M$이 0.028를 기록하며, Polyp-PVT의 성능(0.950, 0.032)을 초월한다.
• PASCAL-S에서 DAD는 $E_{\rho}$가 0.909이고 $M$이 0.058를 기록하며, MirrorNet(0.901, 0.060)을 뛰어넘는다.
• 절단 실험 결과, 필드 확장 모듈(FEM)이 ASPP와 RFB를 능가하며, DAE 모듈을 두 번 반복할 경우 최적의 성능을 기록하지만, 세 번 반복할 경우 성능 저하가 발생함을 확인했다.