[논문 리뷰] Guided Collaborative Training for Pixel-wise Semi-Supervised Learning

Zhanghan Ke, Di Qiu외 3명|arXiv (Cornell University)|2020. 08. 12.

Image Enhancement Techniques참고 문헌 47인용 수 15

한 줄 요약

이 논문은 밀도 높은 출력 예측의 신뢰도 평가 및 부적절한 변형 문제를 해결하는 데 초점을 맞춘 새로운 반감독 학습 프레임워크인 가이드드 코operative 트레이닝(GCT)을 제안한다. GCT는 픽셀 단위의 신뢰도를 추정하기 위해 결함 검출기(flaw detector)를 사용하고, 동적 일致성 및 결함 보정 제약 조건을 통해 협업 학습을 강화하여, 구조적 적응을 최소화하면서도 세분화, 이미지 노이즈 제거, 마스킹, 야간 환경 강화 등 다양한 작업에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We investigate the generalization of semi-supervised learning (SSL) to diverse pixel-wise tasks. Although SSL methods have achieved impressive results in image classification, the performances of applying them to pixel-wise tasks are unsatisfactory due to their need for dense outputs. In addition, existing pixel-wise SSL approaches are only suitable for certain tasks as they usually require to use task-specific properties. In this paper, we present a new SSL framework, named Guided Collaborative Training (GCT), for pixel-wise tasks, with two main technical contributions. First, GCT addresses the issues caused by the dense outputs through a novel flaw detector. Second, the modules in GCT learn from unlabeled data collaboratively through two newly proposed constraints that are independent of task-specific properties. As a result, GCT can be applied to a wide range of pixel-wise tasks without structural adaptation. Our extensive experiments on four challenging vision tasks, including semantic segmentation, real image denoising, portrait image matting, and night image enhancement, show that GCT outperforms state-of-the-art SSL methods by a large margin. Our code available at: https://github.com/ZHKKKe/PixelSSL.

연구 동기 및 목표

• 밀도 높은 출력 예측이 어려운 반감독 학습(SSL) 기법의 한계를 해결하기 위해, 특히 분류 확률이 제공되지 않는 회귀 기반 작업에서의 픽셀 단위 예측 신뢰도 평가와 표준 변형이 비효율적인 문제를 해결한다.
• 작업에 특화된 구조적 수정이나 특성 없이도 다양한 픽셀 단위 작업에 일반적으로 적용 가능한 반감독 학습 프레임워크를 개발한다.
• 회귀 기반 작업에서 최대 클래스 확률이 제공되지 않는 픽셀 단위 예측 신뢰도 평가의 곤경과, 밀도 높은 예측 환경에서 실현 불가능한 변형 문제를 해결한다.
• 학습된 결함 확률 맵을 기반으로 한 임의의 작업에 관계없이 제약 조건을 적용하여 모델 간 협업 학습을 가능하게 한다.
• 제한된 레이블 데이터로도 여러 어려운 픽셀 단위 시각 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 예측 신뢰도를 추정하기 위해 픽셀 단위의 결함 확률 맵을 생성하는 결함 검출기 네트워크를 도입하며, 특히 분류 확률이 제공되지 않는 회귀 기반 작업에서 매우 중요하다.
• 두 개의 작업 모델 간에 동적 일치 제약 조건을 적용하며, 이는 임계값 ξ 이하의 낮은 결함 확률을 가진 픽셀들에서만 예측을 평균화함으로써 신뢰할 수 있는 일致성을 확보한다.
• 학습 중에 결함 확률 맵을 최소화하는 결함 보정 제약 조건을 적용하여, 신뢰도가 떨어지는 예측을 수정하도록 유도한다.
• 다른 초기화를 사용해 다양한 예측을 생성함으로써, 결함 검출기의 출력을 통해 신뢰도가 높은 픽셀에 대한 앙상블 기반 개선을 가능하게 한다.
• 입력 변형이 아닌 모델 가중치의 차이를 활용하여, 이중 학생(Dual Student)의 변형 접근 방식을 픽셀 단위 작업으로 확장하는 새로운 학습 전략을 도입한다.
• Adam 최적화기를 사용하여 전체 GCT 프레임워크를 엔드 투 엔드로 최적화하며, 작업에 특화된 하이퍼파ram터를 포함한다. 여기서 λfc는 결함 보정을, λdc는 동적 일치성을 제어한다.

실험 결과

연구 질문

• RQ1 작업에 특화된 아키텍처나 특성 의존 없이 다양한 픽셀 단위 시각 작업에 적용 가능한 통합 반감독 학습 프레임워크를 설계할 수 있는가?
• RQ2 최대 클래스 확률이 제공되지 않는 회귀 기반 픽셀 단위 작업에서 신뢰도 높은 픽셀 단위 예측 신뢰도를 어떻게 추정할 수 있는가?
• RQ3 레이블 일致성을 유지하면서 증강된 입력 간에 효과적인 변형을 설계할 수 있는가?
• RQ4 작업에 특화된 특성에 의존하지 않는 제약 조건을 통해 모델 간 협업 학습을 어떻게 실현할 수 있는가?
• RQ5 기존의 SSL 방법에 비해 제안된 GCT 프레임워크가 여러 픽셀 단위 시각 벤치마크에서 얼마나 높은 성능 향상을 달성하는가?

주요 결과

• GCT는 표준 벤치마크에서 레이블 데이터의 1/8만을 사용함으로써 세분화, 실사 이미지 노이즈 제거, 포트레이트 마스킹, 야간 이미지 강화 작업에서 최신 기술 수준의 성능을 달성한다.
• PASCAL VOC에서 1/8의 레이블 데이터를 사용할 때, GCT는 세분화 작업에서 Mean Teacher, S4L, AdvSSL보다 유의미하게 높은 mIoU 성능을 기록한다.
• SIDD에서 실사 이미지 노이즈 제거 작업에서 GCT는 기존의 SSL 방법보다 뛰어난 PSNR 및 SSIM 점수를 기록했으며, 레이블 데이터의 1/8만으로도 성능을 확보했다.
• 포트레이트 마스킹 및 야간 이미지 강화 작업에서 GCT는 각각 100장 및 200장의 레이블 데이터로도 강력한 일반화 능력을 보이며, 정량적 지표와 시각적 품질 모두에서 베이스라인 성능을 초월한다.
• 절단 분석 결과, 동적 일치성 및 결함 보정 제약 조건이 모두 필수적임을 확인하였으며, 특히 결함 검출기가 신뢰도 평가 및 오류 보정에서 핵심적인 역할을 한다.
• 프레임워크는 작업 간에 잘 일반화되며, 작업에 특화된 모델을 교체하는 것 외에는 아키텍처적 변경이 필요 없어 광범위한 적용 가능성을 입증한다.