[논문 리뷰] Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection

Jing Zhang, Jianwen Xie외 1명|arXiv (Cornell University)|2020. 07. 23.

Visual Attention and Saliency Detection참고 문헌 57인용 수 6

한 줄 요약

이 논문은 비지도 핸드크래ft 방법에 의해 생성된 노이즈 있는 레이블들로부터 청소된 샐리언시 맵을 분리하는 노이즈 인식형 인코더-디코더 프레임워크를 제안한다. 추론을 위해 랭제빈 역동성을 활용한 교차 기반 역전파와 에지 인식형 스무쓰니스 정규화를 사용함으로써, 기준 데이터셋에서 약한 지도 학습 및 변분 추론 기반 베이스라인보다 뛰어난 성능을 보이는 강건한 샐리언시 예측 모델을 학습한다.

ABSTRACT

In this paper, we propose a noise-aware encoder-decoder framework to disentangle a clean saliency predictor from noisy training examples, where the noisy labels are generated by unsupervised handcrafted feature-based methods. The proposed model consists of two sub-models parameterized by neural networks: (1) a saliency predictor that maps input images to clean saliency maps, and (2) a noise generator, which is a latent variable model that produces noises from Gaussian latent vectors. The whole model that represents noisy labels is a sum of the two sub-models. The goal of training the model is to estimate the parameters of both sub-models, and simultaneously infer the corresponding latent vector of each noisy label. We propose to train the model by using an alternating back-propagation (ABP) algorithm, which alternates the following two steps: (1) learning back-propagation for estimating the parameters of two sub-models by gradient ascent, and (2) inferential back-propagation for inferring the latent vectors of training noisy examples by Langevin Dynamics. To prevent the network from converging to trivial solutions, we utilize an edge-aware smoothness loss to regularize hidden saliency maps to have similar structures as their corresponding images. Experimental results on several benchmark datasets indicate the effectiveness of the proposed model.

연구 동기 및 목표

• 오직 노이즈 있는 약한 지도 레이블만 이용 가능한 상황에서 정확한 샐리언시 검출 모델을 훈련하는 데 도전한다.
• 기존 방법들이 가우시안 노이즈를 가정하거나 변분 추론과 근사 사후분포에 의존하는 한계를 극복한다.
• 신경망 기반 생성기들을 사용해 청소된 샐리언시와 구조적 노이즈를 분리하는 유연한 딥 잠재변수 모델을 개발한다.
• 에지 인식형 스무쓰니스 정규화를 통합하여 일반화 및 강건성을 향상시키고, 임의의 해를 피한다.
• 저자원 레이블링 환경, 예를 들어 이미지당 하나의 노이즈 있는 레이블과 완벽하지 않은 인간 레이블링이 존재하는 환경에서도 효과를 입증한다.

제안 방법

• 각 노이즈 있는 레이블을 인코더-디코더 네트워크에 의해 예측되는 청소된 샐리언시 맵과 신경망을 통해 가우시안 잠재 벡터로부터 생성된 노이즈 맵의 합으로 모델링한다.
• 모델을 교차 기반 역전파(ABP)를 사용해 훈련하며, 이는 모델 파라미터에 대한 기울기 상승과 잠재 벡터의 사후 추론을 위한 랭제빈 역동성 간에 번갈아 수행한다.
• 사후 분포 $ p(Z|Y,X) $ 를 비가역적으로 샘플링하기 위해 랭제빈 역동성을 사용함으로써, 변분 근사 없이 정확한 최대우도 추정을 가능하게 한다.
• 예측된 샐리언시 맵이 입력 이미지와 구조적 일致성을 유지하도록 에지 인식형 스무쓰니스 손실을 도입한다.
• 관측 데이터의 로그우도를 최대화하는 학습 목표를 설정하며, MCMC 샘플의 경험 평균을 통해 기울기를 계산한다.
• 노이즈 생성기가 영역을 학습함으로써 청소된 레이블에서의 훈련을 특수 케이스로 허용함으로써, 레이블 불완전성에 대한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 딥 잠재변수 모델은 비지도 특징 기반 방법에 의해 생성된 노이즈 있는 레이블들로부터 청소된 샐리언시를 효과적으로 분리할 수 있는가?
• RQ2 랭제빈 역동성을 활용한 교차 기반 역전파가 변분 추론보다 노이즈 인식형 샐리언시 예측 모델 학습에서 더 우수한 성능을 보이는가?
• RQ3 제안된 방법은 이미지당 노이즈 있는 레이블의 수와 품질 변화에 대해 얼마나 강건한가?
• RQ4 에지 인식형 스무쓰니스 정규화는 임의의 해로 수렴하는 것을 얼마나 효과적으로 방지하는가?
• RQ5 모델은 인간 레이블링이 완벽하지 않은 경우에도 청소된 레이블에 대해 잘 일반화되는가?

주요 결과

• ABP 기반 방법은 조건부 변분 추론(cVAE)보다 뛰어난 성능을 보이며, 기준 데이터셋 전반에서 F-측정과 평균 절대 오차에서 뚜렷한 격차를 보였다.
• 모델은 이미지당 하나의 노이즈 있는 레이블만으로도 강건한 성능을 유지하며, 레이블 수와 품질에 대한 강건성을 입증했다.
• RBD, MR, GS 기반의 노이즈 있는 레이블에 대한 결과는 원래의 비지도 방법보다 일관되게 향상되었으며, $ f $-RBD, $ f $-MR, $ f $-GS는 각각 RBD, MR, GS를 능가했다.
• DUTS의 청소된 레이블로 훈련했을 때, 모델($ f^* $)은 표준 인코더-디코더($ f_1^* $)보다 더 뛰어난 성능을 보였으며, 이는 청소된 레이블 환경에서도 노이즈 모델링의 가치를 증명했다.
• 에지 인식형 스무쓰니스 손실은 예측된 샐리언시 맵과 입력 이미지 간의 구조적 일致성을 입증함으로써, 모델이 임의의 해로 수렴하는 것을 효과적으로 방지했다.
• 모델은 청소된 레이블로 잘 일반화되며, 실제로 인간 레이블링 역시 '노이즈'를 포함하고 있음을 보여주며, 노이즈 처리 메커니즘이 여전히 유용함을 입증했다.