[논문 리뷰] PISA: Pixelwise Image Saliency by Aggregating Complementary Appearance Contrast Measures with Edge-Preserving Coherence

Keze Wang, Liang Lin외 3명|arXiv (Cornell University)|2015. 05. 12.

Visual Attention and Saliency Detection참고 문헌 49인용 수 91

한 줄 요약

PISA는 에 bord-preserving 일致성과 보완적인 색상 및 구조 대비 특징을 통합함으로써 픽셀 단위의 이미지 주목도 검출을 위한 통합 프레임워크를 제안한다. 에너지 최소화를 통해 국소 일致성과 주목도 신뢰도를 함께 모델링하고, 세밀한 디테일을 유지하는 비용-체적 필터링을 사용하여, 여러 벤치마크에서 최신 기술을 초월한다. 또한 정확도 손실가 최소화된 14배 빠른 변종(F-PISA)을 제공한다.

ABSTRACT

Driven by recent vision and graphics applications such as image segmentation and object recognition, computing pixel-accurate saliency values to uniformly highlight foreground objects becomes increasingly important. In this paper, we propose a unified framework called PISA, which stands for Pixelwise Image Saliency Aggregating various bottom-up cues and priors. It generates spatially coherent yet detail-preserving, pixel-accurate and fine-grained saliency, and overcomes the limitations of previous methods which use homogeneous superpixel-based and color only treatment. PISA aggregates multiple saliency cues in a global context such as complementary color and structure contrast measures with their spatial priors in the image domain. The saliency confidence is further jointly modeled with a neighborhood consistence constraint into an energy minimization formulation, in which each pixel will be evaluated with multiple hypothetical saliency levels. Instead of using global discrete optimization methods, we employ the cost-volume filtering technique to solve our formulation, assigning the saliency levels smoothly while preserving the edge-aware structure details. In addition, a faster version of PISA is developed using a gradient-driven image sub-sampling strategy to greatly improve the runtime efficiency while keeping comparable detection accuracy. Extensive experiments on a number of public datasets suggest that PISA convincingly outperforms other state-of-the-art approaches. In addition, with this work we also create a new dataset containing $800$ commodity images for evaluating saliency detection. The dataset and source code of PISA can be downloaded at http://vision.sysu.edu.cn/project/PISA/

연구 동기 및 목표

• 기존의 주로 색상 또는 슈퍼픽셀 기반 표현에 의존하는 주목도 방법의 한계를 해결하기 위해.
• 세부 정보를 유지하면서도 복잡한 배경/전경 구조를 처리할 수 있는 균일하고 픽셀 정밀도 주목도 강조를 달성하기 위해.
• 전역적 맥락과 이미지 도메인 사전 지식을 활용해 주목도 신뢰도와 공간 일치성을 함께 모델링하기 위해.
• 정확도를 희생시키지 않고 실시간 주목도 검출을 위한 효율적이고 확장 가능한 솔루션을 개발하기 위해.

제안 방법

• 특징 적응형으로 밀도 높은 겹치는 국소 영역을 사용하여 보완적인 외관 신호(색상 대비 및 구조 대비)를 통합한다.
• 특징 공간 내 전역 희귀성(색상/구조 히스토GRAM)과 공간 사전 지식(중심 선호 및 경계 배제)을 조합하여 주목도 신뢰도를 모델링한다.
• 이웃 일관성 제약 조건을 포함한 에너지 최소화 문제로 주목도 할당을 공식화하여 부드럽지만 에지 인식 가능한 출력을 가능하게 한다.
• 전역 이산 최적화 대신 형태 적응형 비용-체적 필터링을 사용하여 세밀한 주목도 수준을 효율적으로 할당한다.
• 기존 PISA보다 14배 빠른 계산 속도를 확보하면서 정확도 손실가 최소화된 빠른 변종인 F-PISA를 도입한다.
• 주목도 신뢰도를 이산 수준으로 매핑하기 위해 시그모이드 유사 정규화를 활용하여 시각적 품질과 MAE 점수를 향상시킨다.

실험 결과

연구 질문

• RQ1 보완적인 외관 신호(색상 및 구조)를 효과적으로 통합하여 주목도 검출 정확도를 향상시킬 수 있는가?
• RQ2 픽셀 단위의 주목도 프레임워크에서 공간 일치성과 에지 인식 디테일 유지가 함께 모델링될 수 있는가?
• RQ3 국소 슈퍼픽셀 기반 방법보다 전역 비국소 특징 모델링 접근 방식이 주목도 계산에서 우월한가?
• RQ4 주목도 매핑에서 시각적 품질과 정량적 성능을 균형 있게 유지하는 데 가장 적합한 정규화 전략은 무엇인가?
• RQ5 정확도 저하 없이 계산 효율성을 크게 향상시킬 수 있는가?

주요 결과

• PISA는 여섯 개인 공개 데이터셋에서 최신 기술을 초월하는 성능을 달성하며, 정밀도와 평균 절대 오차(MAE) 모두에서 승리한다.
• 제안된 시그모이드 유사 정규화는 PASCAL-1500 데이터셋에서 F0.3 및 MAE 점수를 선도적으로 확보하며, 선형, 로그 유사, 지수 유사 대안보다 뛰어나다.
• F-PISA는 원본 PISA 대비 14배 빠른 속도를 확보하면서도 런타임 순위 상위 5개 방법과 유사한 정확도를 유지한다.
• 전역 특징 희귀성과 공간 사전 지식을 활용함으로써, 유사 색상나열이나 이질적인 구조를 가진 복잡한 장면에서도 주목도 균일성이 크게 향상된다.
• 후처리 스무딩을 피하기 위해 비용-체적 필터링을 사용함으로써 에지 인식 디테일을 효과적으로 유지한다. 이는 객체 경계의 흐림을 방지한다.
• 새로운 800장의 소비재 데이터셋을 포함한 다양한 데이터셋에서 일관된 성능을 보이며, 프레임워크의 강건성을 입증한다.