[논문 리뷰] Transferable Semi-supervised Semantic Segmentation

Huaxin Xiao, Yunchao Wei외 3명|arXiv (Cornell University)|2017. 11. 18.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 몇몇 '강한' 카테고리의 픽셀 수준 애너테이션을 활용하여, 이미지 수준 레이블만으로도 '약한' 카테고리에서 높은 성능의 세분화를 가능하게 하는 이식 가능한 준감독 세분화 프레임워크를 제안한다. 레이블 전이 네트워크(L-Net)를 통해 거친 애너테이션을 전이하고, 예측 전이 네트워크(P-Net)를 통해 적대적 보정을 수행함으로써, PASCAL VOC 2012에서 픽셀 수준 애너테이션 카테고리 비율이 각각 50%와 0%일 때, 완전 감독 기반 성능의 96.5%와 89.4%를 달성한다.

ABSTRACT

The performance of deep learning based semantic segmentation models heavily depends on sufficient data with careful annotations. However, even the largest public datasets only provide samples with pixel-level annotations for rather limited semantic categories. Such data scarcity critically limits scalability and applicability of semantic segmentation models in real applications. In this paper, we propose a novel transferable semi-supervised semantic segmentation model that can transfer the learned segmentation knowledge from a few strong categories with pixel-level annotations to unseen weak categories with only image-level annotations, significantly broadening the applicable territory of deep segmentation models. In particular, the proposed model consists of two complementary and learnable components: a Label transfer Network (L-Net) and a Prediction transfer Network (P-Net). The L-Net learns to transfer the segmentation knowledge from strong categories to the images in the weak categories and produces coarse pixel-level semantic maps, by effectively exploiting the similar appearance shared across categories. Meanwhile, the P-Net tailors the transferred knowledge through a carefully designed adversarial learning strategy and produces refined segmentation results with better details. Integrating the L-Net and P-Net achieves 96.5% and 89.4% performance of the fully-supervised baseline using 50% and 0% categories with pixel-level annotations respectively on PASCAL VOC 2012. With such a novel transfer mechanism, our proposed model is easily generalizable to a variety of new categories, only requiring image-level annotations, and offers appealing scalability in real applications.

연구 동기 및 목표

• 희소한 픽셀 수준 애너테이션으로 인해 세분화 모델의 확장성에 한계가 존재하는 문제를 해결하기 위해.
• 강한 카테고리와 약한 카테고리 간에 겹치지 않는 클래스를 가진 준감독 학습 프레임워크를 개발하기 위해.
• 오직 이미지 수준의 감독만을 사용하여, 몇몇 잘 애너테이션된 카테고리에서 새로운 도입된 카테고리로 지식을 효과적으로 전이하기 위해.
• 적대적 학습을 통해 거친 예측을 보정하여, 약한 감독 카테고리의 세분화 성능을 향상시키기 위해.
• 대규모 데이터셋을 레이블링하는 것이 비현실적인 실세계 환경에서의 모델 적용성을 향상시키기 위해.

제안 방법

• L-Net는 외관 유사성 기반으로 클래스에 종속되지 않은 거친 픽셀 수준 맵을 생성함으로써, 강한 카테고리에서 약한 카테고리로 세분화 지식을 전이한다.
• L-Net 출력에서 유도된 국소화된 의미적 시드에 대해 자기 확산 알고리즘을 적용하여, 약한 카테고리의 정교화된 픽셀 수준 애너테이션을 생성한다.
• P-Net는 강한 카테고리의 예측 및 진짜 세분화 간의 구조적 맞춤 패턴을 학습하기 위해 적대적 훈련을 사용한다.
• P-Net는 예측과 진짜 값 간의 격차를 최소화하도록 훈련되어, L-Net에서 유도된 노이즈를 줄이고 세부 정확도를 향상시킨다.
• 두 네트워크를 함께 훈련한다: L-Net이 거친 레이블을 제공하고, P-Net가 클래스에 종속되지 않은 적대적 전략을 사용하여 이를 보정한다.
• CRF를 사용한 후처리를 통해 P-Net 출력을 추가로 보정하여 경계 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 몇몇 잘 애너테이션된 카테고리에서 많은 약한 애너테이션, 볼 수 없는 카테고리로 세분화 지식을 효과적으로 전이할 수 있는가?
• RQ2 픽셀 수준 애너테이션 카테고리 비율이 매우 낮을 때도 모델이 높은 세분화 정확도를 유지할 수 있는가?
• RQ3 적대적 학습을 사용하여 전이 가능한 거친 예측을 보정하고 세부 정보의 정밀도를 향상시킬 수 있는가?
• RQ4 제안된 방법이 훈련 중에 볼 수 없었던 카테고리, 특히 시각적으로 유사한 카테고리로도 잘 일반화되는가?
• RQ5 제한된 감독 조건 하에서 제안된 모델의 성능이 최신의 약한 감독 및 완전 감독 기반 베이스라인과 비교해 어떻게 되는가?

주요 결과

• 제안된 모델은 PASCAL VOC 2012에서 픽셀 수준 애너테이션 카테고리 비율이 50%일 때 완전 감독 기반 성능의 96.5%를 달성한다.
• 픽셀 수준 애너테이션 카테고리 비율이 0%일 때도 완전 감독 기반 성능의 89.4%를 확보하여 강력한 이식성과 성능을 입증한다.
• 특히 새로 도입된, 이전에 애너테이션된 바가 없는 카테고리 처리에서 최신의 약한 감독 기반 방법보다 뛰어난 성능을 보인다.
• L-Net는 재학습 없이도 볼 수 없는 ImageNet 카테고리에 잘 일반화되어 날카롭고 완전한 세분화 마스크를 생성한다.
• P-Net는 L-Net 출력의 노이즈 영역을 줄이고 진짜 값과의 일관성을 향상시켜 출력 품질을 크게 향상시킨다.
• 약 17시간의 총 훈련 시간은 기존의 약한 감독 기반 방법과 유사하며, 300×400 이미지당 추론 시간은 단 0.2초이다.