[논문 리뷰] Few-Cost Salient Object Detection with Adversarial-Paced Learning

Dingwen Zhang, Haibin Tian외 1명|arXiv (Cornell University)|2021. 04. 05.

Visual Attention and Saliency Detection인용 수 10

한 줄 요약

이 논문은 희소한 훈련 이미지에만 픽셀 단위의 주석이 필요한 소수비용 색출 객체 검출을 위한 적대적속도학습(APL) 프레임워크를 제안한다. 히وري스틱 자기속도정규화 기법을 데이터 기반의 적대적 메커니즘으로 대체하여, 가짜 레이블이 부여된 픽셀에 동적으로 신뢰도 가중치를 할당함으로써, 단지 1,000장의 주석이 부여된 이미지로도 완전히 감독되는 모델과 비교할 만한 성능을 달성한다.

ABSTRACT

Detecting and segmenting salient objects from given image scenes has received great attention in recent years. A fundamental challenge in training the existing deep saliency detection models is the requirement of large amounts of annotated data. While gathering large quantities of training data becomes cheap and easy, annotating the data is an expensive process in terms of time, labor and human expertise. To address this problem, this paper proposes to learn the effective salient object detection model based on the manual annotation on a few training images only, thus dramatically alleviating human labor in training models. To this end, we name this task as the few-cost salient object detection and propose an adversarial-paced learning (APL)-based framework to facilitate the few-cost learning scenario. Essentially, APL is derived from the self-paced learning (SPL) regime but it infers the robust learning pace through the data-driven adversarial learning mechanism rather than the heuristic design of the learning regularizer. Comprehensive experiments on four widely-used benchmark datasets demonstrate that the proposed method can effectively approach to the existing supervised deep salient object detection models with only 1k human-annotated training images. The project page is available at https://github.com/hb-stone/FC-SOD.

연구 동기 및 목표

• 깊은 색출 검출에서 높은 주석 비용 문제를 해결하기 위해, 소수의 수동 주석이 부여된 이미지로도 효과적인 모델 훈련을 가능하게 한다.
• 인간이 설계한 규칙에 의존하는 히وري스틱 자기속도학습 정규화 기법의 한계를 극복하여, 저자료 환경에서 과소적합되거나 잘못된 방향으로 학습을 이끄는 문제를 해결한다.
• 저자료 환경에서 비주얼 구조와 일관성을 기반으로 신뢰도가 높은 가짜 레이블을 자동으로 식별할 수 있는 데이터 기반의 학습 속도 메커니즘을 개발한다.
• 소수비용 학습이 완전히 감독되는 모델의 성능에 근접할 수 있음을 입증한다. 이는 인간의 주석 작업 부담을 크게 줄인다.

제안 방법

• 자기속도학습(SPL)에서 유도된 적대적속도학습(APL) 프레임워크를 제안한다. 여기서 학습 속도는 히وري스틱 정규화 기법이 아닌 적대적 훈련을 통해 유추된다.
• 색출 구조와 진짜 주석과의 일관성에 기반해 이미지 영역의 신뢰도 점수를 계산하기 위해 글로벌 구조 유도형 픽셀 가중치(PW) 모듈을 도입한다.
• 학습 목표를 최소-최대 게임(min-max game)으로 설정한다: 생성자는 색출 예측을 생성하고, 판별자는 진짜(진짜 주석)와 가짜(가짜 레이블) 마스크를 구분한다.
• 판별자의 신뢰도 점수를 신뢰도 가중치로 사용하여 색출 네트워크의 훈련을 이끌며, 높은 신뢰도를 가진 가짜 레이블을 우선시한다.
• 히وري스틱 기반의 가중치 할당을 대체하기 위해, 적대적 피드백를 통한 데이터 기반의 가중치 할당 방식을 적용한, SPL과 유사한 대안 최적화 전략을 구현한다.
• PW 모듈을 APL 프레임워크에 통합하여, 가짜 레이블 정련 과정에서 색출 객체의 구조적 무결성을 유지한다.

실험 결과

연구 질문

• RQ1 소수비용 색출 객체 검출에서, 데이터 기반의 학습 속도 메커니즘이 히وري스틱 자기속도학습 정규화 기법을 능가할 수 있는가?
• RQ2 소수의 주석이 부여된 이미지만 존재할 경우, 적대적 학습이 비주얼 이미지에서 신뢰도가 높은 가짜 레이블을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 단지 1,000장의 주석이 부여된 이미지로 훈련된 모델이 완전히 감독되는 모델의 성능을 어느 정도까지 재현할 수 있는가?
• RQ4 기본 모델 대비, 제안된 APL 프레임워크가 가짜 레이블 생성 과정에서 색출 객체의 구조적 무결성을 유지하는가?
• RQ5 다양한 레이블 데이터 비율(예: 1%, 5%, 10%)에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 APL 방법은 1,000장의 주석이 부여된 이미지로만 훈련되었을 때 DUTS-TE 데이터셋에서 최대 F 점수(maxF) 0.863을 달성하여 기존의 약한 감독 학습 방법들을 능가한다.
• 학습 데이터의 1%인 1,000장의 이미지로만 훈련되었을 때, 전체 데이터로 훈련된 완전 감독 모델 대비 maxF 기준 95.48%의 성능을 달성한다.
• 절단 실험 결과, 기존의 자기속도학습 방법은 $\gamma$-정규화 기법이 없을 경우 기준선 성능 향상에 실패함을 보여주며, 저자료 환경에서의 일반화 능력이 떨어지는 것으로 나타났다.
• 제안된 APL 프레임워크는 저자료 환경에서의 성능 향상과 함께, 구조적 무결성 유지 능력에서 뚜렷한 우월성을 보였다.