[논문 리뷰] Decoder Denoising Pretraining for Semantic Segmentation

Emmanuel Brempong Asiedu, Simon Kornblith외 4명|arXiv (Cornell University)|2022. 05. 23.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 ImageNet에서 노이즈 제거 오토인코더를 통해 분류 모델의 디코더 헤드를 사전 훈련하는 DDeP(Decoder Denoising Pretraining)를 제안한다. 이는 특히 라벨이 적은 환경에서 성능을 크게 향상시킨다. 감독 학습 기반의 인코더 사전 훈련과 결합할 경우, Cityscapes, Pascal Context, ADE20K에서 최신 기술 수준의 성능을 달성하며, 전체 학습 세트를 사용할 때조차도 표준 인코더 전용 사전 훈련을 능가한다.

ABSTRACT

Semantic segmentation labels are expensive and time consuming to acquire. Hence, pretraining is commonly used to improve the label-efficiency of segmentation models. Typically, the encoder of a segmentation model is pretrained as a classifier and the decoder is randomly initialized. Here, we argue that random initialization of the decoder can be suboptimal, especially when few labeled examples are available. We propose a decoder pretraining approach based on denoising, which can be combined with supervised pretraining of the encoder. We find that decoder denoising pretraining on the ImageNet dataset strongly outperforms encoder-only supervised pretraining. Despite its simplicity, decoder denoising pretraining achieves state-of-the-art results on label-efficient semantic segmentation and offers considerable gains on the Cityscapes, Pascal Context, and ADE20K datasets.

연구 동기 및 목표

• 라벨 데이터가 적은 환경에서 무작위 디코더 초기화의 비효율성을 해결하기 위해.
• 기존 연구에서 무시되었던 디코더 사전 훈련이 전이 성능을 향상시킬 수 있는지 조사하기 위해.
• 기존 감독 학습 또는 자기지도 학습 기반 인코더 사전 훈련과 보완이 되는 간단하면서도 효과적인 노이즈 제거 기반 디코더 사전 훈련 방법을 개발하기 위해.
• 디퓨전 모델에서 영감을 받은 노이즈 제거 오토인코더가 조밀한 예측 작업을 위한 전이 가능한 표현을 학습할 수 있는지 입증하기 위해.

제안 방법

• ImageNet에서 인코더를 감독 학습 분류기로 사전 훈련한 후 고정한다.
• 고정된 인코더를 사용해 노이즈가 있는 이미지의 특징을 추출하고, 디코더가 이 특징에서 원래의 깨끗한 이미지를 재구성하도록 훈련한다.
• 고정된 표준편차 σ를 사용해 입력 이미지에 정규분포 노이즈를 적용하여 노이즈가 있는 입력 ŝ = x + σϵ를 생성한다.
• L2 재구성 손실을 최적화하여 디코더를 훈련한다: ||gϕ(fθ(ŝ)) − x||², 여기서 ϕ 파라미터만 갱신된다.
• 훈련 안정성과 성능 향상을 위해 노이즈를 더하기 전에 이미지 입력을 스케일링한다.
• 기존의 감독 학습 기반 인코더 사전 훈련과 결합하여, 세분화 작업에서 엔드 투 엔드 미세조정이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 라벨이 적은 환경에서 세분화 모델의 디코더 헤드를 사전 훈련하면 성능 향상이 크게 이루어지는가?
• RQ2 표준 감독 학습 기반 인코더 전용 사전 훈련과 비교해 디코더 노이즈 제거 사전 훈련은 어떻게 성능을 냈는가?
• RQ3 노이즈 스케일링과 노이즈 예측을 노이즈 제거 목표에 적용하면 세분화를 위한 표현 학습이 향상되는가?
• RQ4 디퓨전 모델에서 영감을 받은 노이즈 제거 목표는 세분화 작업의 디코더 사전 훈련에 효과적으로 적용될 수 있는가?
• RQ5 디코더 노이즈 제거 사전 훈련과 인코더 사전 훈련을 결합하면 여러 벤치마크 데이터셋에서 일관된 성능 향상이 이루어지는가?

주요 결과

• 디코더 노이즈 제거 사전 훈련(DDeP)은 특히 라벨된 학습 데이터의 비율이 낮을 경우 세분화 성능을 크게 향상시킨다.
• Pascal Context 데이터셋에서 DDeP는 전체 학습 데이터의 10%만 사용할 때조차도 감독 학습 기반 인코더 사전 훈련 전용보다 더 높은 평균 IoU를 달성한다.
• Cityscapes, ADE20K, Pascal Context에서 DDeP는 모든 데이터 환경에서 표준 인코더 전용 사전 훈련을 능가하며, 일관된 성능 향상을 보였다.
• DDeP는 라벨 효율적인 설정에서 세 가지 벤치마크 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여, 디코더 사전 훈련의 중요성을 확인한다.
• 노이즈를 더하기 전에 입력 이미지를 스케일링하면 노이즈 제거 사전 훈련의 효과가 향상되며, 이는 입력 분포에 민감함을 시사한다.
• 완전한 학습 세트를 사용할 때조차도 DDeP의 성과 향상은 뚜렷하며, 일반적으로 무작위 디코더 초기화 방식이 최적임을 뒷받침한다.