[논문 리뷰] Automatic Salient Object Detection for Panoramic Images Using Region Growing and Fixation Prediction Model

Chunbiao Zhu, Kan Huang외 1명|arXiv (Cornell University)|2017. 10. 10.

Visual Attention and Saliency Detection참고 문헌 4인용 수 6

한 줄 요약

이 논문은 원형 영상에서 정확한 시각적 주목 지도를 생성하기 위해 이중 단계 영역 확장과 눈의 초점 예측 모델을 결합한 새로운 바닥에서부터의 주목 지도 검출 프레임워크를 제안한다. 공간 밀도 패턴, 초점 모델링, 최대값 정규화, 지오데식 정밀 조정을 통합함으로써, 원형 영상 및 전통적 영상 데이터셋 모두에서 최신 기술 수준의 성능을 달성하였으며, 공정한 평가를 위해 새로운 공개된 데이터셋(SalPan)을 제공한다.

ABSTRACT

Almost all previous works on saliency detection have been dedicated to conventional images, however, with the outbreak of panoramic images due to the rapid development of VR or AR technology, it is becoming more challenging, meanwhile valuable for extracting salient contents in panoramic images. In this paper, we propose a novel bottom-up salient object detection framework for panoramic images. First, we employ a spatial density estimation method to roughly extract object proposal regions, with the help of region growing algorithm. Meanwhile, an eye fixation model is utilized to predict visually attractive parts in the image from the perspective of the human visual search mechanism. Then, the previous results are combined by the maxima normalization to get the coarse saliency map. Finally, a refinement step based on geodesic distance is utilized for post-processing to derive the final saliency map. To fairly evaluate the performance of the proposed approach, we propose a high-quality dataset of panoramic images (SalPan). Extensive evaluations demonstrate the effectiveness of our proposed method on panoramic images and the superiority of the proposed method against other methods.

연구 동기 및 목표

• 가상현실/증강현실 기술의 보급으로 점점 더 널리 쓰이고 있는 원형 영상에서의 주목 대상 객체 검출 문제를 해결하기 위해.
• 넓은 시야각 영상에 대해 인간의 시각 주목 메커니즘을 모방하는 생물학적으로 유사한 강건하고 효율적인 방법을 개발하기 위해.
• 주목 지도 검출 알고리즘의 공정한 평가를 가능하게 하기 위해 정확한 지상 진실 데이터를 포함한 고품질의 공개 가능한 원형 영상 데이터셋(SalPan)을 구축하기 위해.
• 이 방법이 원형 영상 외부로도 일반화 가능함을 보여주기 위해, 소형 목표물 검출 및 전통적 영상에 대한 적용 능력을 입증하기 위해.

제안 방법

• 공간 밀도 패턴을 기반으로 원형 영상 내의 초기 객체 후보 영역을 추출하기 위해 이중 단계 영역 확장 알고리즘을 사용한다.
• 인간의 시각 주목 메커니즘을 영감으로 삼아, 시각적으로 주목할 만한 영역을 식별하기 위해 눈의 초점 예측 모델을 통합한다.
• 영역 확장과 초점 예측에서 유도된 주목 지도를 최대값 정규화를 통해 융합하여 굵은 주목 지도를 생성한다.
• 경계 정확도 향상과 최종 주목 지도 품질 향상을 위해 지오데식 거리 기반의 정밀 조정 단계를 적용한다.
• 고해상도 원형 영상에서 주목 지도 계산을 위한 새로운 특징 표현으로 공간 밀도 지도를 도입한다.
• 프레임워크는 효율적이고 유연하게 설계되어 CPU 및 GPU 실행을 모두 지원한다.

실험 결과

연구 질문

• RQ1 바닥에서부터의 주목 지도 검출 프레임워크가 복잡한 배경과 넓은 시야각을 가진 원형 영상의 고유한 과제를 효과적으로 다룰 수 있는가?
• RQ2 영역 확장과 초점 예측을 융합함으로써 원형 영상의 주목 지도 검출 정확도는 어떻게 향상되는가?
• RQ3 제안된 방법이 전통적 영상과 소형 목표물 검출 작업으로까지 일반화되는 정도는 어느 정도인가?
• RQ4 새로운 고품질의 원형 영상 데이터셋(SalPan)이 주목 지도 검출 알고리즘에 대한 공정하고 신뢰할 수 있는 벤치마킹을 가능하게 하는가?

주요 결과

• 제안된 방법은 새로 도입된 SalPan 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정량적 및 정성적 평가에서 기존 방법들을 능가한다.
• 빠른 추론 시간을 보이며 대부분의 전통적 및 딥러닝 기반 주목 지도 방법보다 동일 하드웨어 환경에서 빠른 성능을 보여 강건성과 효율성 모두에서 뛰어난 성능을 입증하였다.
• SalPan 및 전통적 데이터셋(ECSSD, DUT-OMRON, SED)에서의 시각적 비교 결과, 단일 및 다중 주목 객체 모두에 대해 뛰어난 정확도를 보였다.
• 소형 목표물 검출에 대해서도 성공적으로 일반화되었으며, 벤치마크 소형 목표물 데이터셋에서 경쟁력 있는 성능을 기록하여 광범위한 적용 가능성을 입증하였다.
• 지오데식 정밀 조정 단계는 특히 혼잡한 배경을 가진 복잡한 장면에서 경계 정밀도를 크게 향상시켰다.
• SalPan 데이터셋과 소스 코드의 공개는 향후 원형 영상 주목 지도 검출 분야의 연구를 가속화할 것으로 기대된다.