[논문 리뷰] Progressive Feature Polishing Network for Salient Object Detection

Bo Wang, Quan Chen외 4명|arXiv (Cornell University)|2019. 11. 14.

Visual Attention and Saliency Detection인용 수 10

한 줄 요약

이 논문은 Feature Polishing Modules (FPMs)를 사용하여 반복적이고 병렬적으로 다중 수준 특징을 점진적으로 개선하는 단순하면서도 효과적인 프레임워크인 점진적 특징 정련 네트워크(PFPN)를 제안한다. 각 단계에서 고수준의 의미 정보를 직접적으로 모든 저수준 특징에 통합함으로써 PFPN은 장기적 의존성 문제를 줄이고, 후처리 없이 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 정련 단계를 늘릴수록 성능이 단조롭게 향상된다.

ABSTRACT

Feature matters for salient object detection. Existing methods mainly focus on designing a sophisticated structure to incorporate multi-level features and filter out cluttered features. We present Progressive Feature Polishing Network (PFPN), a simple yet effective framework to progressively polish the multi-level features to be more accurate and representative. By employing multiple Feature Polishing Modules (FPMs) in a recurrent manner, our approach is able to detect salient objects with fine details without any post-processing. A FPM parallelly updates the features of each level by directly incorporating all higher level context information. Moreover, it can keep the dimensions and hierarchical structures of the feature maps, which makes it flexible to be integrated with any CNN-based models. Empirical experiments show that our results are monotonically getting better with increasing number of FPMs. Without bells and whistles, PFPN outperforms the state-of-the-art methods significantly on five benchmark datasets under various evaluation metrics.

연구 동기 및 목표

• 간접적인 다중 수준 특징 통합으로 인한 정보 손실 및 장기적 의존성 문제로 인해 성능에 한계를 가진 기존 주목할 만한 객체 검출 방법의 문제를 해결하기 위해.
• 복잡한 아키텍처 수정 없이도 모든 수준의 특징 표현 품질을 향상시킬 수 있는 단순하고 일반화 가능한 프레임워크를 개발하기 위해.
• 반복적 특징 정련을 통해 직접적으로 고품질 예측을 생성함으로써 후처리가 필요 없도록 하기 위해.
• 특징 정련 과정에서 계층적 구조와 차원을 유지함으로써 어떤 CNN 기반 백본과도 원활하게 통합 가능하게 하기 위해.

제안 방법

• PFPN은 다중 Feature Polishing Modules (FPMs)를 순차적으로 적용하여 다중 수준 특징을 점진적으로 정련하는 반복 아키텍처를 사용한다.
• 각 FPM은 고수준 의미 특징을 저수준 특징에 직접 융합하여 모든 특징 수준을 동시에 업데이트하며, 원래의 차원과 계층 구조를 유지한다.
• FPM 설계는 계단식 또는 스킵 커넥션 기반의 특징 집합 방식을 피함으로써, U-Net이나 반복적 정련 접근 방식에서 흔히 발생하는 장기적 의존성 문제를 줄인다.
• 백본과 FPM 간의 특징 차원을 일치시키기 위해 전이 모듈(TMs)을 사용하여 수준 간 호환성을 확보한다.
• FPM 내 특징 융합은 요소별 연결과 합성곱을 통해 수행되며, 단순성은 유지하면서도 효과적인 정보 흐름을 가능하게 한다.
• 전체 네트워크는 엔드 투 엔드 학습이 가능하며, DenseCRF와 같은 후처리가 필요 없이 모델이 직접 고품질의 사전 지도 지도를 학습한다.

실험 결과

연구 질문

• RQ1 복잡한 아키텍처 없이도 반복적 특징 정련 메커니즘이 다중 수준 표현 품질을 향상시킬 수 있는가?
• RQ2 다양한 단계에서 특징을 점진적으로 정련함으로써 검출 정확도와 세부 정보 복구에 어떤 영향을 미치는가?
• RQ3 모든 저수준 특징에 고수준 의미 정보를 직접 통합하는 것이 간접적 또는 순차적 특징 융합 방식보다 우월한가?
• RQ4 제안된 방법은 DenseCRF와 같은 후처리 기법의 필요성을 어느 정도 줄일 수 있는가?
• RQ5 정련 단계의 수가 성능에 어떤 영향을 미치며, 반복 횟수가 증가함에 따라 성능이 수렴하는가?

주요 결과

• 2개의 FPM을 사용한 PFPN은 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하며, MAE, max F, mean F, S 등 다양한 지표에서 16개의 SOTA 방법을 초월한다.
• FPM 수가 증가함에 따라 성능이 단조롭게 향상되며, T=0에서 T=1로 갈수록 가장 큰 향상이 관찰되고, T=3를 초과해도 성능 향상 폭은 미미하다.
• 후처리 없이도 다른 방법이 DenseCRF를 사용하는 것보다 더 우수한 성능을 내므로, PFPN이 뛰어난 내재적 특징 학습 능력을 지닌다.
• FPM 간 공유 가중치를 사용할 경우 개별 가중치를 사용한 경우보다 성능 저하가 발생함을 확인하여, 단계별 특징 정련이 더 효과적임을 입증한다.
• 시각화 결과는 각 정련 단계를 거치면서 사전 지도 지도가 점차 선명하고 정확해지며, 세부 정보와 혼잡한 영역이 체계적으로 개선됨을 확인할 수 있다.