[논문 리뷰] Gated CRF Loss for Weakly Supervised Semantic Image Segmentation

Anton Obukhov, Stamatios Georgoulis외 2명|arXiv (Cornell University)|2019. 06. 11.

Advanced Neural Network Applications참고 문헌 62인용 수 55

한 줄 요약

논문은 Gated CRF loss를 약지도 학습 분할에서 라벨이 없는 픽셀에 대해 도입하여, 유연한 커널과 경계 중심 학습을 가능하게 하고, 높은 차원의 필터링 없이 클릭 기반 및 스크리블 기반 감독에서 최첨단 결과를 달성한다.

ABSTRACT

State-of-the-art approaches for semantic segmentation rely on deep convolutional neural networks trained on fully annotated datasets, that have been shown to be notoriously expensive to collect, both in terms of time and money. To remedy this situation, weakly supervised methods leverage other forms of supervision that require substantially less annotation effort, but they typically present an inability to predict precise object boundaries due to approximate nature of the supervisory signals in those regions. While great progress has been made in improving the performance, many of these weakly supervised methods are highly tailored to their own specific settings. This raises challenges in reusing algorithms and making steady progress. In this paper, we intentionally avoid such practices when tackling weakly supervised semantic segmentation. In particular, we train standard neural networks with partial cross-entropy loss function for the labeled pixels and our proposed Gated CRF loss for the unlabeled pixels. The Gated CRF loss is designed to deliver several important assets: 1) it enables flexibility in the kernel construction to mask out influence from undesired pixel positions; 2) it offloads learning contextual relations to CNN and concentrates on semantic boundaries; 3) it does not rely on high-dimensional filtering and thus has a simple implementation. Throughout the paper we present the advantages of the loss function, analyze several aspects of weakly supervised training, and show that our `purist' approach achieves state-of-the-art performance for both click-based and scribble-based annotations.

연구 동기 및 목표

• 시맨틱 분할에서 주석 부담을 줄이기 위해 약한 감독을 활용하는 것을 동기로 삼는다.
• 완전한 감독 없이도 라벨이 없는 픽셀을 효과적으로 다루는 손실 함수를 개발한다.
• 유연한 커널 구성과 고차원 필터링 없이 Gated CRF loss를 도입한다.
• 이 접근 방식이 클릭 기반 및 스크리블 기반 주석에 대해 최첨단 결과를 산출함을 보여준다.

제안 방법

• 라벨이 있는 픽셀에 대해 부분 교차 엔트로피로 표준 CNN을 학습한다.
• 제안된 Gated CRF loss를 라벨이 없는 픽셀에 적용하여 맥락 관계를 인코딩한다.
• 원치 않는 픽셀 영향력을 마스킹하기 위해 유연한 커널 구성을 사용한다.
• CRF에서 CNN으로 맥락 학습을 오프로드하고, Gated CRF를 의미론적 경계에 집중시킨다.
• 구현을 간단하게 유지하기 위해 고차원 필터링을 피한다.

실험 결과

연구 질문

• RQ1 Gated CRF loss가 경계에 집중하고 원치 않는 영역을 마스킹함으로써 약하게 감독된 시맨틱 분할을 개선할 수 있는가?
• RQ2 Gated CRF loss가 복잡한 필터링 없이 클릭 기반과 스크리블 기반 감독 모두에 대해 최첨단 성능을 가능하게 하는가?
• RQ3 제안된 손실이 효과성 및 단순성 측면에서 완전 감독 또는 다른 약한 감독 방법과 어떻게 비교되는가?
• RQ4 학습 접근법이 다양한 약한 감독 신호(클릭, 스크리블)에서 견고한가?

주요 결과

• 이 접근 방식은 클릭 기반 주석에 대해 최첨단 성능을 달성한다.
• 이 접근 방식은 스크리블 기반 주석에 대해 최첨단 성능을 달성한다.
• Gated CRF loss는 커널 구성의 유연성을 가능하게 하고 학습을 경계에 집중시킨다.
• 이 방법은 고차원 필터링에 의존하지 않으며 구현이 간단하다.
• 학습 프레임워크는 일반적이며 단일 감독 설정에 과도하게 맞춤화되어 있지 않다.