[논문 리뷰] Semi-supervision semantic segmentation with uncertainty-guided self cross supervision

Yunyang Zhang, Zhiqiang Gong외 3명|arXiv (Cornell University)|2022. 03. 10.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 다중 입력 다중 출력(MIMO) 모델을 활용해 효율적인 자기 상호 보조 학습(self cross supervision)을 가능하게 하는 새로운 반감독 세분화 방법인 불확실성 유도 자기 상호 보조 학습(USCS)을 제안한다. 이는 파rameter 수를 40.5% 감소시키고 MACs를 49.1% 감소시켜 학습 비용을 절감한다. 또한 학습 중 노이즈가 있는 가짜 레이블을 억제하기 위해 예측 불확실성 추정을 활용함으로써 성능을 햖थ하며, 라벨 데이터의 1/8만을 사용하는 조건에서 PASCAL VOC 2012에서 최신 기준(mIoU)을 달성한다.

ABSTRACT

As a powerful way of realizing semi-supervised segmentation, the cross supervision method learns cross consistency based on independent ensemble models using abundant unlabeled images. However, the wrong pseudo labeling information generated by cross supervision would confuse the training process and negatively affect the effectiveness of the segmentation model. Besides, the training process of ensemble models in such methods also multiplies the cost of computation resources and decreases the training efficiency. To solve these problems, we propose a novel cross supervision method, namely uncertainty-guided self cross supervision (USCS). In addition to ensemble models, we first design a multi-input multi-output (MIMO) segmentation model which can generate multiple outputs with shared model and consequently impose consistency over the outputs, saving the cost on parameters and calculations. On the other hand, we employ uncertainty as guided information to encourage the model to focus on the high confident regions of pseudo labels and mitigate the effects of wrong pseudo labeling in self cross supervision, improving the performance of the segmentation model. Extensive experiments show that our method achieves state-of-the-art performance while saving 40.5% and 49.1% cost on parameters and calculations.

연구 동기 및 목표

• 기존의 상호 보조 학습 방법에서 발생하는 높은 계산 비용과 노이즈 전파 문제를 해결하기 위해.
• 상호 보조 학습에 사용되는 앙상블 모델의 학습 비용을 줄이기 위해, 복수의 독립된 모델 대신 단일 MIMO 아키텍처로 대체함으로써 계산 비용을 감소시키기 위해.
• 예측 불확실성을 신뢰도 기반의 보조 신호로 활용하여 가짜 레이블에 노이즈가 있는 경우에 대한 모델의 강인성을 향상시키기 위해.
• 반감독 세분화에서 자원 소비를 크게 줄이며 최신 기준 성능을 달성하기 위해.

제안 방법

• 단일 순방향 전파에서 복수의 예측을 생성할 수 있는 다중 입력 다중 출력(MIMO) 세분화 모델을 제안하여, 복수의 독립된 모델을 학습하지 않고도 효율적인 자기 상호 보조 학습을 가능하게 한다.
• MIMO 모델의 출력 간 일관성을 강제하여 기존의 별도의 앙상블 모델 간 상호 보조 학습을 대체함으로써 자기 상호 보조 학습을 구현한다.
• 예측 불확실성 지도를 사용해 가짜 레이블 보조 학습의 가중치를 조정함으로써, 저신뢰도 및 노이즈가 있는 예측의 영향을 줄이는 불확실성 유도 학습을 도입한다.
• 학습 중 가짜 레이블에서 높은 불확실성을 가지는 영역을 동적으로 억제하기 위해 학습 가능한 불확실성 임계값 γ를 활용한다.
• MIMO 하위 네트워크의 다양성과 성능을 향상시키기 위해 격자 혼합 및 특징 융합 전략을 적용한다.
• 모델 용량과 하위 네트워크의 독립성 간 균형을 맞추기 위해 입력 반복 확률 ρ를 사용하여 다양성과 성능 간의 트레이드오���을 최적화한다.

실험 결과

연구 질문

• RQ1 다중 입력 다중 출력(MIMO) 아키텍처가 반감독 세분화의 상호 보조 학습에서 앙상블 모델을 효과적으로 대체할 수 있는가? 이는 계산 비용을 줄이는 데 기여하는가?
• RQ2 불확실성 추정은 반감독 학습에서 가짜 레이블 보조 학습의 강인성을 어떻게 향상시키는가?
• RQ3 MIMO 기반 자기 상호 보조 학습 프레임워크에서 하위 네트워크의 다양성과 모델 용량 사이의 최적 균형은 무엇인가?
• RQ4 불확실성 유도 학습 메커니즘은 노이즈가 있는 가짜 레이블이 모델 수렴에 악영향을 미치는 것을 어떻게 완화하는가?
• RQ5 제안된 방법은 자원 소비를 얼마나 줄일 수 있으며, 이와 동시에 세분화 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 데이터셋에서 라벨 데이터의 1/8만을 사용하는 조건에서 최신 기준 mIoU 74.88%를 달성하여 이전 최신 기준 방법을 초월한다.
• 기존의 표준 상호 보조 학습 방법과 비교해 모델 파라미터 수를 40.5% 감소시키고 MACs를 49.1% 감소시켜 학습 효율성을 크게 향상시킨다.
• ResNet-50를 사용할 경우, 불확실성 유도 학습은 기준 CPS 방법 대비 mIoU를 1.23% 향상시키며 추가 계산 비용 없이도 성능 향상을 달성한다.
• 최적의 불확실성 임계값 γ는 0.5로 확인되었으며, 이는 확신 있는 예측까지 과도하게 억제하여 성능 저하가 발생하기 전에 성능이 최고조에 이르는 지점이다.
• 입력 반복 확률 ρ = 0.4가 하위 네트워크의 다양성과 모델 용량 간 최적의 균형을 이루며 최고의 성능을 낸다.
• 블록 크기 g=1인 격자 혼합 특징 융합 전략이 덧셈 및 더 큰 격자 크기 전략보다 뛰어나 최고의 mIoU와 비중첩 비율을 달성한다.