[논문 리뷰] Optimizing the F-measure for Threshold-free Salient Object Detection

Kai Zhao, Shanghua Gao외 2명|arXiv (Cornell University)|2018. 05. 19.

Visual Attention and Saliency Detection참고 문헌 40인용 수 11

한 줄 요약

이 논문은 색재성 객체 검출에서 훈련 중 F-측도를 직접 최적화할 수 있도록 하는 미분 가능한 F-측도 손실 함수인 FLoss를 제안한다. 이는 임계값이 필요 없고 고정밀도의 색재성 지도를 생성한다. 표준 F-측도를 유연하고 미분 가능한 형태로 재구성함으로써, 포화된 활성화 영역에서도 강력한 기울기를 유지하여 수렴 속도를 빠르게 하고, 다양한 벤치마크에서 임계값 조정 없이도 뛰어난 성능을 발휘한다.

ABSTRACT

Current CNN-based solutions to salient object detection (SOD) mainly rely on the optimization of cross-entropy loss (CELoss). Then the quality of detected saliency maps is often evaluated in terms of F-measure. In this paper, we investigate an interesting issue: can we consistently use the F-measure formulation in both training and evaluation for SOD? By reformulating the standard F-measure we propose the relaxed F-measure which is differentiable w.r.t the posterior and can be easily appended to the back of CNNs as the loss function. Compared to the conventional cross-entropy loss of which the gradients decrease dramatically in the saturated area, our loss function, named FLoss, holds considerable gradients even when the activation approaches the target. Consequently, the FLoss can continuously force the network to produce polarized activations. Comprehensive benchmarks on several popular datasets show that FLoss outperforms the state-of-the-art with a considerable margin. More specifically, due to the polarized predictions, our method is able to obtain high-quality saliency maps without carefully tuning the optimal threshold, showing significant advantages in real-world applications.

연구 동기 및 목표

• 색재성 객체 검출에서 훈련(교차 엔트로피 손실)과 평가(F-측도) 간의 부일치 문제를 해결하기 위해.
• F-측도를 훈련 목적으로 직접 엔드 투 엔드 최적화하여 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 추론 시 임계값 조정이 필요 없도록 본질적으로 극성화된 색재성 지도를 생성하기 위해.
• F-측도의 조화 평균 공식화를 통해 불균형한 데이터 분포에서 정밀도와 재현율을 효과적으로 균형 잡기 위해.
• 기존의 교차 엔트로피 및 균형 잡힌 교차 엔트로피 손실보다 수렴 속도가 빠르고 성능이 뛰어나지 않도록 하기 위해.

제안 방법

• 표준 F-측도의 비미분성 문제를 해결하기 위해 예측 후행 확률에 대해 미분 가능한 형태로 재구성된 유연한 F-측도 공식을 제안한다.
• 유연한 F-측도에서 유도된, 어떤 CNN 기반 색재성 지도 모델의 끝에 추가할 수 있는 미분 가능한 손실 함수인 FLoss를 도입한다.
• 정밀도와 재현율 간의 트레이드오프를 제어하기 위해 파라미터화된 $\beta^2$ 요소를 활용한다. 이는 응용 분야에 맞는 최적화를 가능하게 한다.
• 조화 평균을 핵심 메트릭으로 사용함으로써, 색재성 지도에서 클래스 불균형을 자연스럽게 균형 잡는다.
• 훈련 중에 완전히 엔드 투 엔드 방식으로 손실을 적용하여, 네트워크가 직접 극성화된 예측을 학습할 수 있도록 한다.
• FLoss가 예측이 포화 상태에 있을 때도 중요한 기울기를 유지하므로, 더 명확한 전경-배경 분리가 가능하다는 점을 활용한다.

실험 결과

연구 질문

• RQ1 색재성 객체 검출에서 F-측도를 훈련 중에 미분 가능한 방식으로 직접 최적화할 수 있는가?
• RQ2 F-측도를 훈련 목적으로 사용할 경우, 교차 엔트로피 손실보다 더 나은 일반화 능력과 성능을 발휘하는가?
• RQ3 FLoss는 추론 시 임계값 조정 없이도 고성능의 색재성 지도를 생성할 수 있는가?
• RQ4 표준 및 균형 잡힌 교차 엔트로피 손실과 비교해 FLoss는 클래스 불균형 데이터를 어떻게 다루는가?
• RQ5 FLoss는 여러 최신 아키텍처에서 수렴 속도와 최종 성능 향상에 어느 정도 기여하는가?

주요 결과

• FLoss는 다양한 벤치마크 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, 표준 및 균형 잡힌 교차 엔트로피 손실을 모두 능가한다.
• ECSSD 데이터셋에서 DSS+FLoss 모델은 F-측도 0.843을 기록하여 DSS+Balance(0.837)와 DSS+CE(0.835)를 초월한다.
• PASCAL-S 데이터셋에서 Amulet+FLoss 모델은 F-측도 0.889를 달성하여 Amulet+CE(0.889)와 Amulet+Balance(0.889)를 초월하며, 정밀도와 재현율이 향상되었다.
• 교차 엔트로피 기반 베이스라인보다 수렴 속도가 더 빠르며, 수백 번의 반복 이내에 높은 F-측도 점수를 달성한다.
• FLoss 기반 모델은 매우 극성화된 예측을 생성하여 다양한 임계값 설정에서도 높은 성능을 유지하며, 임계값이 필요 없는 강건성을 입증한다.
• $\beta^2$ 조정을 통해 정밀도-재현율 트레이드오프를 효과적으로 제어할 수 있으며, 높은 $\beta^2$는 재현율을 우선시하고 낮은 $\beta^2$는 정밀도를 우선시한다.