[논문 리뷰] Structure-measure: A New Way to Evaluate Foreground Maps

Deng-Ping Fan, Ming‐Ming Cheng외 3명|arXiv (Cornell University)|2017. 08. 02.

Visual Attention and Saliency Detection참고 문헌 42인용 수 109

한 줄 요약

이 논문은 비이진(non-binary) 전경 맵의 영역별 및 객체별 구조를 포착하는 두 부분의 구조적 유사도 점수인 Structure-measure를 도입하고, 여러 데이터셋과 메타 평가에서 AP, AUC, Fbw보다 우수함을 보여준다.

ABSTRACT

Foreground map evaluation is crucial for gauging the progress of object segmentation algorithms, in particular in the filed of salient object detection where the purpose is to accurately detect and segment the most salient object in a scene. Several widely-used measures such as Area Under the Curve (AUC), Average Precision (AP) and the recently proposed Fbw have been utilized to evaluate the similarity between a non-binary saliency map (SM) and a ground-truth (GT) map. These measures are based on pixel-wise errors and often ignore the structural similarities. Behavioral vision studies, however, have shown that the human visual system is highly sensitive to structures in scenes. Here, we propose a novel, efficient, and easy to calculate measure known an structural similarity measure (Structure-measure) to evaluate non-binary foreground maps. Our new measure simultaneously evaluates region-aware and object-aware structural similarity between a SM and a GT map. We demonstrate superiority of our measure over existing ones using 5 meta-measures on 5 benchmark datasets.

연구 동기 및 목표

• 전 픽셀 단위 오류를 넘어 객체 구조를 고려하여 전경 맵의 보다 신뢰할 수 있는 평가를 촉진한다.
• 구역 수준 정보와 객체 수준 정보를 포착하는 두 구성요소 구조적 유사도 측정을 제안한다.
• 제안된 측정치가 데이터 세트 전반에서 응용 프로그램 순위 및 인간 판단과 더 잘 일치하는지 보여준다.

제안 방법

• GT 중심점을 기준으로 SM과 GT를 K개의 블록으로 분할하고 각 블록의 GT 커버리지로 가중치를 두어 region-aware 구조적 유사도 S_r 을 정의한다.
• 각 블록에 대해 SSIM에서 영감을 받은 공식화를 사용하여 region-level 유사도를 정의하고 S_r = sum_k w_k * ssim(k)로 집계한다.
• 전경과 배경 분포를 개별적으로 평가하여 객체 인식 유사도를 정의한다; 평균값과 변동계수를 이용해 O_FG 및 O_BG (식 5–8)를 형성한다.
• 최종 객체 인식 유사도 S_o = mu * O_FG + (1 - mu) * O_BG를 계산하며, 여기서 mu는 GT 전경 영역 비율이다.
• 지역 기반 및 객체 기반 측정치를 결합하여 최종 Structure-measure S = alpha * S_o + (1 - alpha) * S_r를 얻으며 구현에서 alpha = 0.5이다.

Figure 8: Structural changes examples. The first row are GT maps. The second row are its morphologically changed version.

실험 결과

연구 질문

• RQ1 구조 인식 평가 지표가 전통적인 픽셀 단위 지표보다 인간 판단 및 응용 목표를 더 잘 반영할 수 있는가?
• RQ2 region-aware 및 object-aware 구조 구성요소가 전경 맵에 대해 보완적 정보를 포착하는가?
• RQ3 제안된 측정치가 데이터 세트와 주목도 모델 전반에서 강건한가?

주요 결과

• Structure-measure는 여러 데이터 세트에서 AP, AUC, Fbw보다 GT 및 응용 프로그램에 대한 전단 점수를 더 잘 순위화한다.
• 메타-측정 1에서 Structure-measure는 응용 프로그램(SalCut)과의 일치도에서 최상의 순위화를 달성한다.
• 메타-측정 2에서 강력한 모델의 출력과 일반적인 베이스라인 간의 선호에서 최신 지표를 크게 능가한다.
• 메타-측정 3에서 다양한 데이터 세트에서 GT-스위치 순위 오류를 상당히 감소시킨다.
• 메타-측정 4에서 주석 경계 변화에 대해 강건함을 보이며 종종 Fbw를 능가한다.
• 사용자 연구에서 Structure-measure로 순위가 매겨진 맵에 대해 인간 선호도가 더 높게 나타난다(100-쌍 연구에서 63.69%).