[논문 리뷰] Salient Object Detection by LTP Texture Characterization on Opposing Color Pairs under SLICO Superpixel Constraint

Didier Ndayikengurukiye|arXiv (Cornell University)|2022. 04. 13.

Visual Attention and Saliency Detection참고 문헌 70인용 수 9

한 줄 요약

이 논문은 SLICO 초초상에서 상반된 색상 쌍에 국소 이진 패턴(LTP)을 적용하여 색상과 텍스처를 통합함으로써, 거의 매개변수 없는 새로운 색채 강조 검출 모델을 제안한다. 다양한 색상 공간(RGB, HSL, LUV, CMY)에서의 강조 지도를 FastMap 기반의 비유사도를 사용하여 융합함으로써, ECSSD 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 평균 Fβ 점수는 0.729, MAE는 0.257을 기록하였다.

ABSTRACT

The effortless detection of salient objects by humans has been the subject of research in several fields, including computer vision, as it has many applications. However, salient object detection remains a challenge for many computer models dealing with color and textured images. Most of them process color and texture separately and therefore implicitly consider them as independent features which is not the case in reality. Herein, we propose a novel and efficient strategy, through a simple model, almost without internal parameters, which generates a robust saliency map for a natural image. This strategy consists of integrating color information into local textural patterns to characterize a color micro-texture. It is the simple, yet powerful LTP (Local Ternary Patterns) texture descriptor applied to opposing color pairs of a color space that allows us to achieve this end. Each color micro-texture is represented by a vector whose components are from a superpixel obtained by the SLICO (Simple Linear Iterative Clustering with zero parameter) algorithm, which is simple, fast and exhibits state-of-the-art boundary adherence. The degree of dissimilarity between each pair of color micro-textures is computed by the FastMap method, a fast version of MDS (Multi-dimensional Scaling) that considers the color micro-textures’ non-linearity while preserving their distances. These degrees of dissimilarity give us an intermediate saliency map for each RGB (Red–Green–Blue), HSL (Hue–Saturation–Luminance), LUV (L for luminance, U and V represent chromaticity values) and CMY (Cyan–Magenta–Yellow) color space. The final saliency map is their combination to take advantage of the strength of each of them. The MAE (Mean Absolute Error), MSE (Mean Squared Error) and Fβ measures of our saliency maps, on the five most used datasets show that our model outperformed several state-of-the-art models. Being simple and efficient, our model could be combined with classic models using color contrast for a better performance.

연구 동기 및 목표

• 색상과 텍스처 특징을 효과적으로 통합하는 단순하고 거의 매개변수 없는 강조 검출 모델을 개발하는 것.
• 풍부한 텍스처와 색상이 포함된 복잡한 자연 이미지에서의 주목할 만한 객체 검출 과제를 해결하는 것.
• 색상 정보를 국소 텍스처 기술자에 직접 통합함으로써 강조 지도의 품질을 향상시키고, 이를 별도로 처리하는 것보다 나은 성능을 내는 것.
• 최소한의 설정과 효율적인 파이프라인을 사용하여 다양한 이미지 데이터셋에서 견고한 성능을 달성하는 것.

제안 방법

• RGB, HSL, LUV, CMY 색상 공간에서 상반된 색상 쌍에 국소 이진 패턴(LTP) 텍스처 기술자를 적용하여 색상-마이크로텍스처 특징을 생성한다.
• SLICO 초초상(매개변수 없음)을 사용하여 텍스처 및 색상 특징 집계를 위한 공간 영역을 정의함으로써 강한 경계 유지 성능을 확보한다.
• 특징 벡터 간 비선형 거리를 유지하는 빠른 MDS 변형인 FastMap을 사용하여 마이크로텍스처 간 비유사도를 계산한다.
• 비유사도 점수에 기반하여 각 색상 공간별로 개별 강조 지도를 생성한 후, 이를 최종 강조 지도로 융합한다.
• 성능에 미치는 영향이 미미한 유일한 내부 매개변수(초초상 수)를 사용하며, 50, 100, 200개 초초상 설정에서의 성능 결과를 통해 이를 입증하였다.
• ECSSD 및 MSRA10K 데이터셋에서 정량적 평가를 위해 평균 절대 오차(MAE) 및 Fβ 측정치를 사용한다.

실험 결과

연구 질문

• RQ1 색상과 텍스처를 별도로 처리하는 것과 비교해, 국소 텍스처 기술자에 색상을 직접 통합하면 강조 검출 성능 향상에 기여하는가?
• RQ2 LTP에서 상반된 색상 쌍의 사용이 강조 검출을 위한 텍스처 특성화에 어떻게 기여하는가?
• RQ3 SLICO 초초상 방법은 최소한의 매개변수 조정으로도 견고하고 효율적인 특징 추출을 얼마나 잘 지원하는가?
• RQ4 FastMap 기반 비유사도를 사용하여 다수의 색상 공간에서의 강조 지도를 융합하면 개별 색상 공간 처리에 비해 더 나은 성능을 내는가?
• RQ5 최소한의 매개변수 조정으로도 다양한 이미지 복잡성과 데이터셋에서 모델의 안정성은 어느 정도 유지되는가?

주요 결과

• 제안된 모델은 ECSSD 데이터셋에서 평균 Fβ 점수 0.729 및 MAE 0.257을 기록하여 29개의 최신 기술 수준 모델 중 18개를 초월하였다.
• 모델은 뛰어난 안정성을 보였으며, MAE의 표준편차가 0.071로, HS(0.108) 및 CHS(0.117) 모델보다 유의미하게 낮았다.
• ECSSD 데이터셋의 더 복잡한 두 번째 반분(이미지 500–1000)에서의 성능 저하가 제안된 모델에서는 HS 및 CHS 모델보다 덜 두드러졌다.
• 50, 100, 200개의 초초상 설정 간 성능 변화가 거의 없어, 오직 하나의 내부 매개변수에 대해 매우 높은 내성적 안정성을 보였다.
• LTP에서 상반된 색상 쌍의 사용이 Fβ 및 재현율-정밀도 지표에서 개별 기여를 향상시키며, 특히 RGB 공간에서 두드러졌다.
• RGB, HSL, LUV, CMY 4개의 색상 공간에서의 결과를 융합하면 단일 공간을 사용하는 것보다 더 견고한 최종 강조 지도를 얻을 수 있었다.