[논문 리뷰] Pyramid Grafting Network for One-Stage High Resolution Saliency Detection

C. Xie, Changqun Xia외 4명|arXiv (Cornell University)|2022. 04. 11.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 고해상도 색채 추출을 위한 단계별 프레임워크인 피라미드 그라프팅 네트워크(PGNet)를 제안한다. 이 네트워크는 CNN과 트랜스포머 기반 백본의 특징을 교차 모델 그라프팅 모듈(CMGM)을 통해 융합하여 전반적인 맥락과 세부 정보를 모두 유지한다. 이는 고해상도 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 현재까지 가장 큰 고해상도 데이터셋인 4K–8K 데이터셋인 UHRSD를 포함한다.

ABSTRACT

Recent salient object detection (SOD) methods based on deep neural network have achieved remarkable performance. However, most of existing SOD models designed for low-resolution input perform poorly on high-resolution images due to the contradiction between the sampling depth and the receptive field size. Aiming at resolving this contradiction, we propose a novel one-stage framework called Pyramid Grafting Network (PGNet), using transformer and CNN backbone to extract features from different resolution images independently and then graft the features from transformer branch to CNN branch. An attention-based Cross-Model Grafting Module (CMGM) is proposed to enable CNN branch to combine broken detailed information more holistically, guided by different source feature during decoding process. Moreover, we design an Attention Guided Loss (AGL) to explicitly supervise the attention matrix generated by CMGM to help the network better interact with the attention from different models. We contribute a new Ultra-High-Resolution Saliency Detection dataset UHRSD, containing 5,920 images at 4K-8K resolutions. To our knowledge, it is the largest dataset in both quantity and resolution for high-resolution SOD task, which can be used for training and testing in future research. Sufficient experiments on UHRSD and widely-used SOD datasets demonstrate that our method achieves superior performance compared to the state-of-the-art methods.

연구 동기 및 목표

• 제한된 수신 영역과 세부 정보 손실로 인해 기존의 색채 추출 모델이 고해상도 이미지에서 성능 저하가 발생하는 문제를 해결하기 위해.
• 다단계 고해상도 SOD 방법의 한계, 즉 오류 전파 및 높은 추론 비용을 극복하기 위해.
• CNN과 트랜스포머 특징을 효과적으로 융합하여 고해상도 색채 추출을 위한 단일 단계, 효율적이고 정확한 프레임워크를 설계하기 위해.
• 미래 연구를 지원하기 위해 새로운 대규모 고해상도 색채 추출 데이터셋(UHRSD)을 제공하기 위해.

제안 방법

• PGNet는 이중 분지 인코더를 사용한다: 전체 해상도에서 독립적으로 입력 이미지를 처리하는 ResNet 기반 CNN과 Swin 트랜스포머이다.
• 교차 모델 그라프팅 모듈(CMGM)은 트랜스포머 분지의 대응하는 특징을 주시하고, 동일한 공간 스케일에서 CNN 분지에 삽입함으로써 특징 융합을 가능하게 한다.
• CMGM은 주의 메커니즘을 활용하여 그라프팅 과정을 안내하며, 이로써 CNN 분지는 트랜스포머로부터 전반적인 의미적 정보를 통합하면서도 공간적 세부 정보를 유지할 수 있다.
• CMGM의 주의 행렬을 감독하기 위해 주의 유도 손실(AGL)이 도입되었으며, 이는 두 분지 간의 정렬과 특징 상호작용을 향상시킨다.
• 표준 손실과 AGL을 조합하여 엔드 투 엔드로 네트워크를 훈련시키며, 최종 디코더 단계의 특징 맵을 사용하여 예측을 수행한다.
• 이 방법은 저해상도 및 고해상도 벤치마크 모두에서 평가되었으며, 4K–8K 해상도의 5,920장의 이미지를 포함한 새로 도입된 UHRSD 데이터셋을 포함한다.

실험 결과

연구 질문

• RQ1 CNN과 트랜스포머 특징을 융합함으로써 단일 단계 딥러닝 프레임워크가 고해상도 색채 추출을 효과적으로 처리할 수 있는가?
• RQ2 주의 기반의 교차 분지 특징 그라프팅이 고해상도 SOD에서 세부 정보 보존과 전반적 맥락 통합을 어떻게 향상시키는가?
• RQ3 대규모 고해상도 데이터셋(UHRSD)에서의 훈련이 새로운 고해상도 이미지에 대한 일반화 능력과 성능을 어느 정도 향상시키는가?
• RQ4 제안된 주의 유도 손실(AGL)이 교차 모델 그라프팅에서 주의 정렬과 특징 융합 품질을 향상시키는가?

주요 결과

• PGNet는 저해상도(DUTS-TE) 및 고해상도(UHRSD-TE) 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, UHRSD-TE에서 Fβ^Max는 0.949, MAE는 0.026를 기록하였다.
• UHRSD-TR + HRSOD-TR 혼합 데이터셋에서 훈련한 결과는 UHRSD-TE에서 더 뛰어난 성능을 보였으며, 이는 고해상도 애너테이션의 존재가 일반화 능력을 향상시킨다는 것을 시사한다.
• 절단 실험 결과, R5-S2 특징 쌍(즉, CNN의 잔류 블록 5와 트랜스포머의 스테이지 2)에서의 그라프팅이 가장 뛰어난 성능을 보였으며, UHRSD-TE에서 Fβ^Max는 0.946을 기록하였다.
• 주의 유도 손실(AGL)은 성능 향상에 상당한 기여를 하였으며, AGL 없이 기반 모델을 사용한 경우 대비 UHRSD-TE에서 Fβ^Max가 0.004 증가하였다.
• 시각적 결과는 PGNet가 더 선명한 경계를 생성하고, 이전 방법들이 놓쳤던 작은 색채 객체를 더 잘 포착함을 보여준다.
• 4K–8K 해상도의 5,920장의 이미지를 포함한 UHRSD 데이터셋은 현재까지 공개된 가장 크고 해상도가 높은 SOD 데이터셋이다.