[논문 리뷰] Enhanced-alignment Measure for Binary Foreground Map Evaluation

Deng-Ping Fan, Cheng Gong외 4명|arXiv (Cornell University)|2018. 05. 26.

Visual Attention and Saliency Detection참고 문헌 11인용 수 127

한 줄 요약

본 논문은 로컬 픽셀 정렬(local pixel alignment)과 이미지 수준의 통계를 함께 포착하는 간단한 이진 전경 맵 평가 지표인 E-measure를 제안하고, 여러 데이터셋과 메타-지표에 걸쳐 기존 지표에 비해 더 우수한 순위 매김/일관성을 보여준다.

ABSTRACT

The existing binary foreground map (FM) measures to address various types of errors in either pixel-wise or structural ways. These measures consider pixel-level match or image-level information independently, while cognitive vision studies have shown that human vision is highly sensitive to both global information and local details in scenes. In this paper, we take a detailed look at current binary FM evaluation measures and propose a novel and effective E-measure (Enhanced-alignment measure). Our measure combines local pixel values with the image-level mean value in one term, jointly capturing image-level statistics and local pixel matching information. We demonstrate the superiority of our measure over the available measures on 4 popular datasets via 5 meta-measures, including ranking models for applications, demoting generic, random Gaussian noise maps, ground-truth switch, as well as human judgments. We find large improvements in almost all the meta-measures. For instance, in terms of application ranking, we observe improvementrangingfrom9.08% to 19.65% compared with other popular measures.

연구 동기 및 목표

• 로컬 정보와 전역 정보를 모두 고려하는 이진 맵 전용 평가 지표의 필요성을 제고한다.
• 픽셀 수준 정렬과 이미지 전반의 통계치를 융합하는 간결하고 단일 용어의 지표를 제안한다.
• 데이터셋 전반에 걸쳐 애플리케이션 수준의 순위 및 인간 판단과의 일관성이 우수함을 입증한다.
• 지표 간 상관관계를 평가하기 위한 랭크된 맵들의 새로운 데이터셋을 만든다.

제안 방법

• 각 맵을 글로벌 평균 주위로 중심화하여 바이어스 행렬 ϕI = I − μI를 얻고, I ∈ {GT, FM}에 대해 정의한다.
• GT와 FM의 바이어스 행렬을 aHadamard 곱과 정규화를 통해 상관시켜 정렬 매트릭스 ξ를 계산한다: ξFM = 2ϕGT ◦ ϕFM / (ϕGT ◦ ϕGT + ϕFM ◦ ϕFM).
• 볼록 매핑 f(x) = 1/4 (1 + x)^2을 적용하여 ξ로부터 향상된 정렬 φ를 얻는다(φFM = f(ξFM)).
• 최종 E-measure QFM을 모든 픽셀에 걸친 φFM의 평균으로 정의한다: QFM = (1/(wh)) Σx,y φFM(x,y).
• 해당 지표가 이미지 수준의 통계와 로컬 픽셀 매칭을 함께 포착하여 이진 맵 평가를 향상시킴을 주장한다.

실험 결과

연구 질문

• RQ1 전역 통계와 로컬 정렬을 통합하는 단일 용어의 지표가 이진 전경 맵에 대해 기존의 픽셀 단위 및 구성 기반 지표보다 더 나은 성능을 보일 수 있는가?
• RQ2 제안된 E-measure가 다수의 데이터셋에 걸쳐 적용 결과 및 인간 판단과 더 잘 일치하는 순위를 산출하는가?
• RQ3 노이즈, 일반 맵, 그리고 ground-truth 스위치에 대해 E-measure가 기존 지표들보다 강건한가?
• RQ4 새로 생성된 FMDatabase에 따른 E-measure 점수와 인간 순위 간의 상관관계는 어떠한가?

주요 결과

• E-measure은 IOU, Fβ/JI, CM, Fbw, VQ, S-measure에 비해 네 가지 데이터셋에서 애플리케이션 수준 출력과의 순위 일관성을 일관되게 향상시킨다.
• 다수의 메타-지표에서 E-measure는 인간 판단 및 ground-truth 기반 순위와의 일치를 더 우수하게 보인다.
• 저자들은 애플리케이션 랭킹 지표에서 상당한 향상을 보고하며(예: 일부 기준선 대비 최대 약 19%), 노이즈 구분에서 더 나은 SOTA를 달성한다고 한다.
• 측정치-인간 정렬의 일치를 평가하기 위해 인간이 순위 매긴 이진 맵을 포함하는 새로운 데이터셋(FMDatabase)이 발표되었다.
• 본 논문은 일부 구조적 시나리오에서 S-measure가 약간 더 잘 작동할 수 있다고 지적하지만, E-measure는 이진 맵에 특화되고 더 신뢰할 수 있으며 계산도 효율적이다.