[논문 리뷰] Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation

Xiangrong Zhang, Zelin Peng외 5명|arXiv (Cornell University)|2021. 08. 03.

Advanced Neural Network Applications참고 문헌 51인용 수 4

한 줄 요약

이 논문은 동적 쌍별 픽셀 유사도 학습을 위한 적응형 유사도(AA) 손실과 오류가 있는 가짜 레이블을 보정하기 위한 레이블 재할당(LR) 손실을 도입함으로써 성능을 향상시키는 단계별 약한 지도 학습 세그멘테이션 방법을 제안한다. 이 방법은 PASCAL VOC 2012에서 검증 세트에서 63.9 mIoU, 테스트 세트에서 64.8 mIoU를 기록하여 기존의 단계별 방법을 능가하고 다단계 대응 방법과도 맞먹는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semantic segmentation has been continuously investigated in the last ten years, and majority of the established technologies are based on supervised models. In recent years, image-level weakly supervised semantic segmentation (WSSS), including single- and multi-stage process, has attracted large attention due to data labeling efficiency. In this paper, we propose to embed affinity learning of multi-stage approaches in a single-stage model. To be specific, we introduce an adaptive affinity loss to thoroughly learn the local pairwise affinity. As such, a deep neural network is used to deliver comprehensive semantic information in the training phase, whilst improving the performance of the final prediction module. On the other hand, considering the existence of errors in the pseudo labels, we propose a novel label reassign loss to mitigate over-fitting. Extensive experiments are conducted on the PASCAL VOC 2012 dataset to evaluate the effectiveness of our proposed approach that outperforms other standard single-stage methods and achieves comparable performance against several multi-stage methods.

연구 동기 및 목표

• 의미 전파 및 오류 보정과 같은 다단계 방법의 장점을 통합함으로써 단계별 약한 지도 학습 세그멘테이션(WSSS)의 성능을 향상시키기 위해.
• 단계별 방법의 한계, 즉 노이즈가 섞인 또는 잘못된 가짜 레이블로 인해 모델 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 초기 가짜 레이블에서의 잘못된 양성 예측에 대한 과적합을 줄이기 위해 종단 간 레이블 정교화를 통해.
• 이미지 수준의 지도 학습만을 사용하여 다단계 WSSS 방법과 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 고정된 신뢰도 요소가 아닌 학습 가능한 적응형 가중치를 사용하여 쌍별 픽셀 관계를 계산하는 적응형 유사도(AA) 손실을 도입하여 의미 전파를 향상시킨다.
• 집중도 파라미터 γ에 기반하여 특징 임베딩을 조정하는 레이블 재할당(LR) 손실을 적용하여 취약하고 오류가 발생할 수 있는 샘플에 집중한다.
• 가짜 마스크가 분류 브랜치에서 제공하는 세그멘테이션을 지도로 사용하는 통합형 종단 간 훈련 프레임워크를 사용하며, 훈련 중에 AA 및 LR 손실을 모두 적용한다.
• 심층 네트워크에서 추출한 특징 임베딩을 활용하여 잘못 분류된 픽셀을 식별하고 재할당함으로써 노이즈가 있는 초기 예측에 대한 과적합을 줄인다.
• 표준 교차 엔트로피 손실과 AA 손실을 조합하여 세그멘테이션과 유사도 학습을 동시에 최적화한다.
• T-SNE 시각화를 통해 레이블 재할당 후 특징 임베딩의 군집화가 향상되어 더 나은 의미 분리가 이루어졌음을 확인한다.

실험 결과

연구 질문

• RQ1 고정된 신뢰도 가중치에 의존하지 않고도 적응형 유사도 학습이 단계별 WSSS에서 의미 전파를 향상시킬 수 있는가?
• RQ2 학습 가능한 레이블 재할당 메커니즘이 이미지 수준의 WSSS에서 잘못된 가짜 레이블에 대한 과적합을 줄일 수 있는가?
• RQ3 종단 간 가짜 레이블 정교화를 통해 단계별 모델이 다단계 WSSS 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 LR 손실의 집중도 파라미터 γ가 모델의 강건성과 세그멘테이션 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 검증 세트에서 mIoU 63.9, 테스트 세트에서 mIoU 64.8을 기록하여 기존의 단계별 방법을 능가한다.
• LR 손실에서 γ = 2로 설정할 경우, 훈련 및 검증 세트에서 각각 0.7% 향상된 mIoU를 기록하여 취약한 샘플에 집중하는 것이 효과적임을 입증한다.
• T-SNE를 통한 시각화 결과, LR 손실이 의미적 혼동을 줄이고 레이블 재할당 후 특징 임베딩의 군집화가 더 명확해졌음을 보여준다.
• AA 손실은 특히 모호한 영역에서 의미 전파를 크게 향상시키며, 도전적인 샘플의 IoU 향상으로 확인된다.
• 단계별 아키텍처임에도 불구하고, MCIS 및 NSROM과 같은 최신 기술 수준의 다단계 WSSS 방법과 비교해도 경쟁 가능한 성능을 달성한다.
• 제거 실험 결과, AA 및 LR 손실이 성능 향상에 독립적이고 상호 보완적인 기여를 한다는 것이 확인된다.