[논문 리뷰] DeepUSPS: Deep Robust Unsupervised Saliency Prediction With Self-Supervision

Duc Tam Nguyen, Maximilian Dax외 5명|arXiv (Cornell University)|2019. 09. 28.

Visual Attention and Saliency Detection인용 수 28

한 줄 요약

이 논문은 깊이 신경망과 반복적 자기지도 학습을 활용해 노이즈가 많은 가짜 레이블을 정제한 후 최종 색채 추출 네트워크를 정제된 레이블로 훈련하는 이단계적 비지도 색채 추출 프레임워크인 DeepUSPS를 제안한다. 이 방법은 지도 학습 기반 최고 성능 모델에 유효하게 다가서는 비지도 학습 성능을 달성하며, 기존 비지도 방법 대비 상대적 F-스코어 향상 21% 및 오차 감소 29%를 기록한다.

ABSTRACT

Deep neural network (DNN) based salient object detection in images based on high-quality labels is expensive. Alternative unsupervised approaches rely on careful selection of multiple handcrafted saliency methods to generate noisy pseudo-ground-truth labels. In this work, we propose a two-stage mechanism for robust unsupervised object saliency prediction, where the first stage involves refinement of the noisy pseudo labels generated from different handcrafted methods. Each handcrafted method is substituted by a deep network that learns to generate the pseudo labels. These labels are refined incrementally in multiple iterations via our proposed self-supervision technique. In the second stage, the refined labels produced from multiple networks representing multiple saliency methods are used to train the actual saliency detection network. We show that this self-learning procedure outperforms all the existing unsupervised methods over different datasets. Results are even comparable to those of fully-supervised state-of-the-art approaches. The code is available at https://tinyurl.com/wtlhgo3 .

연구 동기 및 목표

• 색채 추출을 위한 픽셀 수준의 인간 레이블이 비용이 많이 들고 부족한 문제를 해결하기 위해 비지도 훈련을 가능하게 한다.
• 기존 비지도 방법이 수동으로 설계된 색채 모델에서 유도된 노이즈가 많은 가짜 레이블을 직접 융합하는 데서 비롯되는 한계를 극복한다.
• 최종 융합 전에 별도로 가짜 레이블을 정제하여, 방법의 다양성을 유지하고 감독 신호의 정밀도를 향상시킨다.
• 상호이미지 일致성과 이동 평균 예측을 활용해 반복적으로 가짜 레이블을 향상시키는 자기지도 학습 메커니즘을 개발한다.
• 인간 레이블 기반 진짜 레이블이 필요 없이 완전 지도 학습 기반 최고 성능 모델과 유사한 성능을 달성한다.

제안 방법

• 기존 수동으로 설계된 색채 추출 방법을 대체하여 원본 이미지에서 가짜 레이블을 생성하는 데 깊이 신경망을 도입하며, 원래 방법의 대체자 역할을 한다.
• 공유된 특징을 활용하고 분포 이탈을 최소화함으로써, 이미지 간 일致성을 확보하기 위해 상호이미지 일치 훈련을 적용한다.
• 색채 추출 네트워크의 예측 이동 평균을 활용해 반복적 자기지도 학습 메커니즘을 구현하여 다중 단계에서 가짜 레이블을 정제한다.
• 다양한 깊이 신경망 대체자로부터 정제된 가짜 레이블을 활용해 최종 색채 추출 네트워크를 훈련한다.
• 다양한 정제된 네트워크의 예측을 융합하기 위한 다중 시점 융합(Multi-View Aggregation, MVA) 전략을 도입하여 정확도와 일관성을 향상시킨다.
• 정제 과정을 단계별로 진행하는 커리큘럼 학습 접근법을 활용하며, 초기 대체자 훈련, 상호이미지 일치, 반복적 자기지도 학습의 단계를 거친다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 색채 모델에서 유도된 가짜 레이블을 반복적으로 정제하는 것이 비지도 색채 추출 성능 향상에 기여하는가?
• RQ2 수동 방법을 깊이 신경망 대체자로 대체하면 가짜 레이블의 품질과 다양성이 향상되는가?
• RQ3 이동 평균과 상호이미지 일치를 통한 자기지도 학습이 가짜 레이블 품질 향상에 얼마나 기여하는가?
• RQ4 다양한 방법에서 유도된 정제된 가짜 레이블이 완전 지도 학습 기반 최고 성능 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 제안된 파이프라인은 표준 벤치마크에서 기존 비지도 및 지도 학습 기반 기준 모델과 비교해 정량적으로 어떻게 성능을 내는가?

주요 결과

• DeepUSPS는 벤치마크 데이터셋에서 기존 비지도 방법 대비 F-스코어 오차 21% 상대 감소 및 평균 평균 오차(MAE) 29% 상대 감소를 기록한다.
• MSRA-B와 DUT-OSB에서 두 개의 선도적 비지도 방법인 SBF와 USD를 능가하며, F-스코어에서 각각 2.5–3.5%의 절대 향상률을 기록한다.
• 자기지도 학습을 두 번 반복한 후, MSRA-B에서 F-스코어는 89.07%에 도달하고 MAE는 4.52%로 감소하여 높은 수준의 레이블 정제를 확인한다.
• 깊이 신경망 대체자로부터 유도된 정제된 가짜 레이블은 일관성과 정확도가 크게 향상되었으며, 정제 후 F-스코어가 약 85%에서 89% 이상으로 상승한다.
• 정제된 레이블로 훈련된 최종 색채 추출 네트워크는 인간 레이블이 없는 완전 지도 학습 기반 최고 성능 모델과 유사한 성능을 달성하여, 고품질 가짜 레이블이 인간 레이블을 대체할 수 있음을 입증한다.
• 제거 분석 결과, 상호이미지 일치와 자기지도 학습이 모두 필수적임을 확인하였으며, 특히 초기 일치 훈련 이후에도 자기지도 학습이 점진적인 성능 향상을 이룬다.