[논문 리뷰] Revisiting Image Pyramid Structure for High Resolution Salient Object Detection

Taehun Kim, Kunhee Kim외 4명|arXiv (Cornell University)|2022. 09. 20.

Visual Attention and Saliency Detection인용 수 7

한 줄 요약

이 논문은 고해상도(HR) 훈련 데이터셋이 필요 없이 고해상도(HR) 주목 객체 검출을 가능하게 하는 새로운 이미지 피라미드 기반의 주목도 검출 프레임워크인 InSPyReNet을 제안한다. строго한 주목도 맵 피라미드 구조를 도입하고, 저해상도(LR) 및 고해상도(HR) 스케일에서의 예측을 융합하는 피라미드 블렌딩 기법을 도입함으로써, HR 기준에서 최고 성능을 달성하면서도 LR 데이터셋에서도 뛰어난 강건성을 유지하며 경계 정확도와 세부 사항 보존 능력을 크게 향상시킨다.

ABSTRACT

Salient object detection (SOD) has been in the spotlight recently, yet has been studied less for high-resolution (HR) images. Unfortunately, HR images and their pixel-level annotations are certainly more labor-intensive and time-consuming compared to low-resolution (LR) images and annotations. Therefore, we propose an image pyramid-based SOD framework, Inverse Saliency Pyramid Reconstruction Network (InSPyReNet), for HR prediction without any of HR datasets. We design InSPyReNet to produce a strict image pyramid structure of saliency map, which enables to ensemble multiple results with pyramid-based image blending. For HR prediction, we design a pyramid blending method which synthesizes two different image pyramids from a pair of LR and HR scale from the same image to overcome effective receptive field (ERF) discrepancy. Our extensive evaluations on public LR and HR SOD benchmarks demonstrate that InSPyReNet surpasses the State-of-the-Art (SotA) methods on various SOD metrics and boundary accuracy.

연구 동기 및 목표

• 고가의 고해상도(HR) 훈련 데이터나 복잡한 아키텍처에 의존하지 않고 고해상도(HR) 주목 객체 검출(SOD) 문제를 해결하기 위해.
• 기존 SOD 방법에서 저해상도(LR) 및 고해상도(HR) 입력 간 효과적 수용장역(ERF) 불일치 문제를 해결하기 위해.
• 안정적이고 고품질의 이미지 블렌딩을 가능하게 하는 엄격한 구조를 가진 주목도 맵 피라미드를 생성하는 네트워크 아키텍처를 설계하기 위해.
• 추론 단계에서 새로운 피라미드 블렌딩 전략을 통해 다중 스케일 주목도 예측을 융합하여 고정밀도의 고해상도(HR) 예측을 가능하게 하기 위해.
• 고해상도 및 저해상도 SOD 기준에서 모두 최고 성능을 달성하기 위해 고해상도 훈련 데이터 없이 저해상도 훈련 데이터만을 사용하기 위해.

제안 방법

• 다중 스케일 주목도 맵 피라미드를 명시적으로 예측하여 스케일 간 구조 일관성을 보장하는 역주목도 피라미드 재구성 네트워크(Inverse Saliency Pyramid Reconstruction Network, InSPyReNet)를 제안한다.
• 엄격한 피라미드 구조를 강제하는 감독 전략을 설계하여 다양한 스케일 간 안정적인 이미지 블렌딩을 가능하게 한다.
• 동일한 이미지의 저해상도(LR) 및 고해상도(HR) 스케일에서의 주목도 맵을 융합하는 피라미드 블렌딩 기법을 도입하여 ERF 불일치 문제를 완화한다.
• 단일 네트워크를 사용해 다중 스케일 출력을 예측한 후, 이미지 피라미드 융합을 통해 고해상도 예측을 재구성한다.
• 다단계 디코더를 활용하여 각 스케일에서 주목도 맵의 라플라시안을 예측함으로써 고주파 수치 세부 정보를 암묵적으로 학습한다.
• 이미지 피라미드의 본질적 다중 스케일 표현을 활용하여 추가적인 훈련이나 감독 없이도 세밀한 세부 사항을 향상시킨다.

실험 결과

연구 질문

• RQ1 주목도 맵 예측에서 엄격한 이미지 피라미드 구조가 고해상도(HR) 훈련 데이터 없이도 더 정확하고 안정적인 고해상도(HR) 주목도 검출을 가능하게 할 수 있는가?
• RQ2 고해상도(HR) 데이터 재학습 없이도 저해상도(LR) 및 고해상도(HR) 입력 간 효과적 수용장역(ERF) 불일치 문제를 효과적으로 완화할 수 있는가?
• RQ3 단일 네트워크에서 유도된 다중 스케일 예측의 피라미드 기반 융합이 고해상도(HR) SOD에서 경계 정확도와 세부 사항 보존 능력을 향상시킬 수 있는가?
• RQ4 엄격한 주목도 맵 피라미드를 강제함으로써, 이전의 최고 성능(SOTA) 방법에 비해 고해상도(HR) 및 저해상도(LR) 기준 모두에서 더 나은 일반화 능력과 성능을 달성할 수 있는가?
• RQ5 경량이며 단일 네트워크 아키텍처가 고해상도(HR) 전용의 복잡한 다단계 아키텍처에 비해 고해상도(HR) SOD에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• InSPyReNet는 HRSOD-TE 기준에서 F-측정값 0.952, MAE 0.016을 기록하여 이전 방법들을 압도하는 최고 성능을 달성했다.
• UHRSD-TE 기준에서 InSPyReNet는 F-측정값 0.938, MAE 0.029를 기록하여 뛰어난 경계 정확도와 세부 사항 보존 능력을 입증했다.
• HRSOD-TE 테스트 세트에서 InSPyReNet는 MAE를 0.009로 낮추어 다음으로 우수한 방법(0.012)보다 유의미하게 낮춘 것으로 나타나 예측 정밀도 향상을 입증했다.
• InSPyReNet는 HRSOD-TE에서 S-측정값 0.959를 기록하여 이전 최고 성능(SOTA) 방법보다 0.023점 높게 기록했다.
• 정성적 결과에서는 InSPyReNet가 복잡한 환경에서 세부 사항을 효과적으로 보존하고 거짓 양성(false positives)을 줄이는 데 성공했으며, 특히 피라미드 블렌딩 이후에 그 효과가 두드러졌다.
• DUTS-TR과 같은 저해상도 기준에서도 강력한 성능을 유지하여 입력 해상도에 관계없이 뛰어난 일반화 능력을 보였다.