[논문 리뷰] Weakly-Supervised Salient Object Detection via Scribble Annotations
이 논문은 밀도 높은 픽셀 수준 레이블 대신 희박한 스크래치(annotation) 레이블로부터 학습하는 약한 감독 기반의 주목할 만한 객체 검출 방법을 제안한다. 경계 정렬을 향상시키기 위해 보조 에지 검출 네트워크와 게이트형 구조 인식 손실을 도입하고, 애너테이션을 조밀하게 만드는 스크래치 부스팅 기법을 활용함으로써, 여섯 개의 벤치마크에서 완전 감독 기반 최신 기술 수준의 성능을 달성하며, 기존의 약한 감독 기반 방법들보다 뚜렷이 뛰어난 성능을 보인다.
Compared with laborious pixel-wise dense labeling, it is much easier to label data by scribbles, which only costs 1$\sim$2 seconds to label one image. However, using scribble labels to learn salient object detection has not been explored. In this paper, we propose a weakly-supervised salient object detection model to learn saliency from such annotations. In doing so, we first relabel an existing large-scale salient object detection dataset with scribbles, namely S-DUTS dataset. Since object structure and detail information is not identified by scribbles, directly training with scribble labels will lead to saliency maps of poor boundary localization. To mitigate this problem, we propose an auxiliary edge detection task to localize object edges explicitly, and a gated structure-aware loss to place constraints on the scope of structure to be recovered. Moreover, we design a scribble boosting scheme to iteratively consolidate our scribble annotations, which are then employed as supervision to learn high-quality saliency maps. As existing saliency evaluation metrics neglect to measure structure alignment of the predictions, the saliency map ranking metric may not comply with human perception. We present a new metric, termed saliency structure measure, to measure the structure alignment of the predicted saliency maps, which is more consistent with human perception. Extensive experiments on six benchmark datasets demonstrate that our method not only outperforms existing weakly-supervised/unsupervised methods, but also is on par with several fully-supervised state-of-the-art models. Our code and data is publicly available at https://github.com/JingZhang617/Scribble_Saliency.
연구 동기 및 목표
- 밀도 높은 픽셀 수준의 레이블 대신 희박한 스크래치 애너테이션을 사용하여 주목할 만한 객체 검출의 애너테이션 부담을 줄이기.
- 희박한 스크래치로 인해 발생하는 경계 정확도 저하 문제를 해결하기 위해 명시적 에지 가이던스와 구조 인식 제약 조건을 도입하기.
- 반복적인 보정 과정을 통해 애너테이션의 밀도와 품질을 향상시켜 더 나은 모델 감독을 가능하게 하는 스크래치 부스팅 기법 개발하기.
- 예측된 주목할 만한 지도의 구조적 일치도를 측정함으로써 인간의 인지와 더 잘 일치하는 새로운 평가 지표인 주목할 만한 구조 측정법($B_{\mu}$)을 도입하기.
- 스크래치로부터의 약한 감독 학습이 완전 감독 기반 최신 기술 수준의 모델 성능에 도달할 수 있음을 입증하기.
제안 방법
- DUTS 데이터셋을 재편집하여 희박한 스크래치(annotation)를 포함하는 새로운 스크래치 기반 데이터셋인 S-DUTS를 생성함(평균 3% 픽셀 커버리지)으로써, 스크래치 기반 SOD의 평가를 가능하게 함.
- RCF 또는 소벨 에지 맵을 지도로 사용하는 보조 에지 검출 네트워크(EDN)를 도입하여 모델이 정밀한 객체 경계를 학습하도록 유도함.
- 예측된 주목할 만한 지도가 주목할 만한 영역의 이미지 에지와 일치하도록 제약을 두고 배경의 구조는 억제하는 게이트형 구조 인식 손실을 제안함.
- 고신뢰도 예측을 기반으로 기존 스크래치 애너테이션을 반복적인 보정 과정을 통해 더 조밀한 가짜 레이블로 확장하는 스크래치 부스팅 기법을 설계함.
- 메인 브랜치는 주목할 만한 지도를 예측하고 보조 브랜치는 에지 검출을 수행하는 다중 브랜치 네트워크 아키텍처를 활용하며, 각각의 손실 함수를 함께 최적화함.
- 주목할 만한 지도 예측과 에지 검출에 대해 교차 엔트로피 손실를 사용하고, 게이트형 구조 인식 손실를 결합하여 정확도와 구조적 충실도를 동시에 최적화함.
실험 결과
연구 질문
- RQ1희박한 스크래치 애너테이션만을 사용하여 주목할 만한 객체 검출을 효과적으로 학습시킬 수 있는가? (픽셀 수준의 레이블에 비해 훨씬 저렴한 비용이다.)
- RQ2희박한 스크래치로 인해 구조적 세부 정보가 부족한 경우, 객체 경계를 어떻게 향상시킬 수 있는가?
- RQ3보조 에지 검출 작업을 통합함으로써 예측된 주목할 만한 지도의 구조적 충실도가 향상되는가?
- RQ4스크래치 부스팅 기법이 반복적으로 애너테이션 품질을 향상시키고, 결과적으로 더 나은 모델 성능을 이끌 수 있는가?
- RQ5제안된 주목할 만한 구조 측정법($B_{\mu}$)이 기존의 MAE와 같은 전통적 지표보다 인간의 인지와 더 잘 일치하는가?
주요 결과
- 제안된 방법은 DUT-OSR, DUTS-TE, ECSSD, PASCAL-S, HKU-IS, DIB-R를 포함한 여섯 개의 벤치마크 데이터셋에서 기존의 모든 약한 감독 기반 및 비감독 기반 주목할 만한 객체 검출 방법보다 뛰어난 성능을 보였다.
- 이 방법은 몇몇 완전 감독 기반 최신 기술 수준의 모델들과 비교하여 동등한 성능을 달성하였으며, 스크래치 기반 약한 감독 학습이 완전 감독 학습에 비견될 수 있음을 보여주었다.
- 게이트형 구조 인식 손실은 경계 정렬을 크게 향상시켰으며, 표준 스무스니스 손실 대비 $B_{\mu}$ 측정값을 0.025 감소시켜 더 나은 구조적 일치도를 의미한다.
- 스크래치 부스팅 기법은 베이스라인 대비 $B_{\mu}$ 측정값에서 0.011 향상시켜, 희박한 애너테이션을 정교화하는 데 효과적임을 입증하였다.
- 보조 에지 검출 작업을 도입함으로써 $B_{\mu}$ 측정값이 0.038 감소하였으며, 이는 구조적 정확도 향상에 기여함을 입증한다.
- 모델는 애너테이션의 변동성에 대해 강건하며, 여러 애너테이터가 제공한 다양한 스크래치 애너테이션에서도 일관된 성능을 보였으며, 희박성과 겹침 차이에도 불구하고 신뢰성 있는 성능을 유지함을 시사한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.