[논문 리뷰] HSCS: Hierarchical Sparsity Based Co-saliency Detection for RGBD Images

Runmin Cong, Jianjun Lei외 4명|arXiv (Cornell University)|2018. 11. 16.

Visual Attention and Saliency Detection참고 문헌 67인용 수 4

한 줄 요약

이 논문은 RGBD 이미지에 대한 계층적 희소성 기반 공통 쇼셜리티 검출 방법인 HSCS를 제안한다. 이 방법은 상위 및 쌍별 희소성 복원을 통해 상호 이미지 간 관계를 모델링하고, 에너지 함수 개선을 통해 부드럽고 일관된 결과를 도출한다. 두 개의 RGBD 공통 쇼셜리티 벤치마크에서 최신 기술을 초월하는 성능을 달성하며, 깊이 정보를 통합했을 때 F-측정치가 8.4% 향상되어 뚜렷한 성과를 보였다.

ABSTRACT

Co-saliency detection aims to discover common and salient objects in an image group containing more than two relevant images. Moreover, depth information has been demonstrated to be effective for many computer vision tasks. In this paper, we propose a novel co-saliency detection method for RGBD images based on hierarchical sparsity reconstruction and energy function refinement. With the assistance of the intra saliency map, the inter-image correspondence is formulated as a hierarchical sparsity reconstruction framework. The global sparsity reconstruction model with a ranking scheme focuses on capturing the global characteristics among the whole image group through a common foreground dictionary. The pairwise sparsity reconstruction model aims to explore the corresponding relationship between pairwise images through a set of pairwise dictionaries. In order to improve the intra-image smoothness and inter-image consistency, an energy function refinement model is proposed, which includes the unary data term, spatial smooth term, and holistic consistency term. Experiments on two RGBD co-saliency detection benchmarks demonstrate that the proposed method outperforms the state-of-the-art algorithms both qualitatively and quantitatively.

연구 동기 및 목표

• 기존의 공통 쇼셜리티 검출 방법에서 깊이 정보가 제대로 활용되지 않는 문제를 해결하기 위해 다중 RGBD 이미지 간 공통적으로 주목할 만한 객체를 검출하는 데 초점을 맞춘다.
• 이미지 그룹 간의 전반적이고 국소적인 관계를 모두 포착함으로써 상호 이미지 대응 모델링을 향상시킨다.
• 에너지 함수 개선 모델을 통해 내부 이미지의 부드러움과 상호 이미지 간의 일관성을 향상시킨다.
• 일치 기반 또는 전파 기반 방법보다 계산 비용을 줄이는 효율적인 공통 쇼셜리티 검출 프레임워크를 개발한다.

제안 방법

• 전체 이미지 그룹에서 공통된 전경 특징을 포착하기 위해 순위 기반 전역 희소성 복원을 사용하는 계층적 희소성 복원 모델을 제안한다.
• 전용 쌍별 전경 사전를 사용하여 이미지 쌍 간의 국소적 대응을 모델링하기 위해 쌍별 희소성 복원을 적용한다.
• 단일 데이터, 공간적 부드러움, 통합 일관성 항목을 통합한 다중 구성 요소 에너지 함수를 도입하여 쇼셜리티 맵을 개선한다.
• 배경 영역을 제거하는 데 도움이 되는 순위 기반 방법을 통해 전경 시드를 선택함으로써 사전 학습의 강건성을 향상시킨다.
• 깊이 정보를 상호 이미지 간 대응 모델링에서 제약 조건으로 사용하고, 개선 단계에서 색상 특징 보완으로 활용한다.
• 스퍼피셀을 사용해 이미지를 분할하고, 재구성 정확도와 배경 노이즈 간 균형을 맞추기 위해 초기 전경 시드 수를 최적화한다.

실험 결과

연구 질문

• RQ1 공통 쇼셜리티 검출에 깊이 정보를 효과적으로 통합하여 정확도를 향상시키는 방법은 무엇인가?
• RQ2 전역 및 쌍별 복원을 조합한 계층적 희소성 모델이 상호 이미지 간 대응 모델링에 미치는 영향은 무엇인가?
• RQ3 제안된 에너지 함수 개선 모델이 내부 이미지의 부드러움과 상호 이미지 간 일관성을 어떻게 향상시키는가?
• RQ4 전경 시드 선택을 위한 순위 기반 방법이 배경 간섭에 대해 얼마나 강건한가?
• RQ5 기존 최신 기술 대비 제안된 방법은 RGBD 데이터셋에서 정확도와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• RGBD CoSal150 데이터셋에서 깊이 정보를 통합함으로써 F-측정치가 상대적으로 8.4% 향상되어, 공통 쇼셜리티 검출 향상에 효과적임을 입증하였다.
• 전경 시드 선택을 위한 순위 기반 방법이 배경 영역을 효과적으로 제거함으로써 성능 향상이 뚜렷하게 향상되었으며, 이는 정성적 결과와 정량적 성과로 입증되었다.
• 초기 전경 시드의 최적 수는 이미지당 40개이며, 이 이상이 되면 배경 노이즈 증가로 인해 성능 저하가 발생한다.
• 이 방법은 이미지당 평균 8.29초의 실행 시간을 기록하여, MCLP(41.03초) 및 ICS(42.67초)와 같은 일치 기반 방법보다 뚜렷하게 빠르게 작동한다.
• 스퍼피셀의 최적 수는 400이며, 다양한 값에서도 성능이 안정적으로 유지되어 이 파라미터에 대해 낮은 민감도를 보였다.
• 제안된 HSCS 방법은 RGBD CoSal150 및 NYU-DepthV2 공통 쇼셜리티 검출 벤치마크에서 모두 최신 기술을 초월하는 성능을 달성하였으며, 정성적 및 정량적 평가에서 기존 방법을 모두 압도하였다.