[논문 리뷰] Structured Modeling of Joint Deep Feature and Prediction Refinement for Salient Object Detection

Yingyue Xu, Dan Xu외 5명|arXiv (Cornell University)|2019. 09. 10.

Visual Attention and Saliency Detection참고 문헌 51인용 수 8

한 줄 요약

이 논문은 종단간 백프로파게이션을 통해 다중 스케일 CNN 특징과 강조 영역 예측을 동시에 개선하는 계단식 조건부 랜덤 필드를 활용한 딥 유니티드 CRF 모델을 제안한다. 다양한 스케일 간 특징-특징, 특징-예측, 예측-예측 메시지 전달을 통합함으로써 모델은 최신 기술 수준의 성능을 달성하며, ECSSD 데이터셋에서 F-측정치 0.928을 기록하여 후처리 CRF나 별도의 메시지 전달 메커니즘을 사용하는 기존 방법들을 능가한다.

ABSTRACT

Recent saliency models extensively explore to incorporate multi-scale contextual information from Convolutional Neural Networks (CNNs). Besides direct fusion strategies, many approaches introduce message-passing to enhance CNN features or predictions. However, the messages are mainly transmitted in two ways, by feature-to-feature passing, and by prediction-to-prediction passing. In this paper, we add message-passing between features and predictions and propose a deep unified CRF saliency model . We design a novel cascade CRFs architecture with CNN to jointly refine deep features and predictions at each scale and progressively compute a final refined saliency map. We formulate the CRF graphical model that involves message-passing of feature-feature, feature-prediction, and prediction-prediction, from the coarse scale to the finer scale, to update the features and the corresponding predictions. Also, we formulate the mean-field updates for joint end-to-end model training with CNN through back propagation. The proposed deep unified CRF saliency model is evaluated over six datasets and shows highly competitive performance among the state of the arts.

연구 동기 및 목표

• 기존 강조 객체 검출 모델이 특징-특징 또는 예측-예측 메시지 전달만 수행하는 데에 한계가 있음을 해결하고, 특징과 예측 간 다중 모odal 메시지 전달을 도입함으로써 성능 향상을 도모한다.
• 구조적 메시지 전달을 통해 깊은 특징과 예측 간 상호의존성을 강화함으로써 모델 학습 효율성과 표현 품질을 향상시킨다.
• CNN과의 종단간 학습이 가능한 평균장 근사법을 사용하는 통합된 CRF 프레임워크를 개발하여 특징과 예측을 동시에 모델링한다.
• 거칠기에서부터 세밀한 스케일로의 점진적 표현 개선을 통해 강조 객체 검출에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 각 스케일에서의 CRF 블록이 이전 스케일의 특징과 예측을 관측 변수로 받아들여 현재 스케일의 개선된 특징과 예측을 추론하도록 계단식 CRF 아키텍처를 설계한다.
• 특징-특징, 특징-예측, 예측-예측 메시지 전달의 세 가지 유형을 도입하며, 이는 모두 통합된 CRF 그래픽 모델 내에서 수식화된다.
• CNN 기반 백본과의 종단간 백프로파게이션 학습이 가능하도록 CRF 추론에 평균장 근사를 적용한다.
• 계층적이고 거칠기에서 세밀한 스케일로의 계단식 흐름을 통해 점진적으로 강조 지ap을 개선하며, 저수준 특징과 예측에서 시작하여 상향식으로 개선한다.
• CRF 블록을 CNN 기반 강조 객체 검출 프레임워크에 통합하여 CNN과 CRF 파라미터의 공동 최적화를 가능하게 한다.
• CRF의 이원적 잠재변수에 대해 가우시안 커널을 사용하며, 스케일 간 공유된 파라미터를 백프로파게이션 동안 최적화한다.

실험 결과

연구 질문

• RQ1 특징과 예측 간의 통합 메시지 전달이 고립된 특징 또는 예측 개선을 넘어서 강조 객체 검출 성능 향상에 기여하는가?
• RQ2 특징-예측 상호작용을 통합함으로써 딥 강조 객체 모델의 학습 효율성과 표현 품질이 향상되는가?
• RQ3 특징과 예측을 동시에 모델링하는 통합된 CRF 프레임워크가 후처리 CRF나 별도의 개선 모듈보다 더 높은 성능을 달성할 수 있는가?
• RQ4 특징-예측 및 예측-특징 메시지 전달이 종단간 학습의 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 딥 유니티드 CRF 모델은 ECSSD 데이터셋에서 F-측정치 0.928을 기록하여 베이스라인(0.884)과 DSS(+) 및 MSR과 같은 최신 기술 수준의 모델들을 크게 능가한다.
• 특징-예측 메시지 전달만 추가해도 F-측정치가 0.884에서 0.904로 상승하여 특징 품질 향상에 효과적임을 입증한다.
• 백프로파게이션을 통한 CRF와의 공동 학습으로 예측 지도 F-측정치가 예측-예측 메시지만 사용할 경우 기준 0.899에서 0.921로 향상된다.
• 특징-특징, 특징-예측, 예측-예측 메시지 전달의 세 가지 유형을 모두 포함한 전체 모델이 가장 높은 성능을 기록하여 다중 모달 개선의 유용성을 확인한다.
• 특징-예측 메시지 전달을 통한 학습은 학습 손실을 더 빠르게 감소시켜 학습 효율성과 최적화 역학 향상의 증거를 제공한다.
• 모델은 이미지당 약 0.48초 내외로 실행되며, 후처리 Dense-CRF를 사용하는 DSS와 유사한 추론 오버헤드를 보이며, 매우 낮은 성능 손실을 유발한다.