[논문 리뷰] Normalized Cut Loss for Weakly-supervised CNN Segmentation

Meng Tang, Abdelaziz Djelouah외 3명|arXiv (Cornell University)|2018. 04. 04.

Advanced Neural Network Applications참고 문헌 37인용 수 52

한 줄 요약

논문은 scribbles에 대한 부분 크로스 엔트로피와 모든 픽셀에 대한 정규화된 분할(Normalized Cut) 정규화기를 결합한 weakly supervised CNN 분할을 위한 joint loss를 도입하고, 밀집 가우시안 커널을 이용해 효율적으로 구현해 state-of-the-art 결과를 얻으며 scribble 감독에 대해 가까운 전체 감독에 도달.

ABSTRACT

Most recent semantic segmentation methods train deep convolutional neural networks with fully annotated masks requiring pixel-accuracy for good quality training. Common weakly-supervised approaches generate full masks from partial input (e.g. scribbles or seeds) using standard interactive segmentation methods as preprocessing. But, errors in such masks result in poorer training since standard loss functions (e.g. cross-entropy) do not distinguish seeds from potentially mislabeled other pixels. Inspired by the general ideas in semi-supervised learning, we address these problems via a new principled loss function evaluating network output with criteria standard in "shallow" segmentation, e.g. normalized cut. Unlike prior work, the cross entropy part of our loss evaluates only seeds where labels are known while normalized cut softly evaluates consistency of all pixels. We focus on normalized cut loss where dense Gaussian kernel is efficiently implemented in linear time by fast Bilateral filtering. Our normalized cut loss approach to segmentation brings the quality of weakly-supervised training significantly closer to fully supervised methods.

연구 동기 및 목표

• 픽셀 정확 마스크에 대한 의존도를 줄이기 위해 약하게 감독되는 의미론적 분할을 촉진한다.
• 정규화된 컷에서 영감을 받은 글로벌 정규화항과 라벨이 지정된 픽셀의 충실도를 결합한 원칙적인 손실을 제안한다.
• 시드에서 레이블을 라벨이 없는 픽셀로 전파할 수 있도록 미분 가능한 손실 계층을 통해 가능하게 한다.
• 빠른 양방향 필터링을 사용한 정규화된 컷 항의 효율적인 구현을 시연한다.
• 제안된 손실이 희소하게 라벨링된 데이터에서 최첨단 성능을 달성함을 보여준다.

제안 방법

• 레이블된 시드에서의 부분 교차 엔트로피와 모든 픽셀에 대한 완화된 정규화된 컷 항을 결합하는 이미지 픽셀 전체의 공동 손실을 정의한다.
• RGBXY 공간에서 밀집 가우시안 친화도를 사용하여 정규화된 컷 정규화를 공식화한다.
• scribble 픽셀을 ground-truth 레이블로 고정하여 시드로 삼고 라벨이 없는 영역으로의 자유로운 전파를 허용한다.
• 네트워크 출력에 대한 미분 가능한 정규화된 컷 손실의 공식화와 그 기울기를 제공한다.
• permutohedral 격자를 통한 밀집 가우시안 커널 구현으로 순방향 및 역전달을 선형 시간으로 달성한다.
• 표준 CNN 백본(예: DeepLab 변형)을 사용해 접근법을 평가하고 PASCAL VOC 2012에서 mIOU를 보고한다.

실험 결과

연구 질문

• RQ1 시드 수준의 감독과 전역 친화도 기반 정규화를 결합한 반지도 학습 손실이 약하게 감독된 분할을 향상시킬 수 있는가?
• RQ2 정규화된 컷 정규화가 scribbles에서 라벨이 없는 픽셀로의 라벨 전파를 CNN 학습에서 개선하는가?
• RQ3 dense 친화도에서 정규화된 컷 손실과 그 기울기를 효율적으로 계산하는 것이 가능한가?
• RQ4 이 손실을 사용할 때 scribble 기반 약한 감독이 전체 감독 분할에 얼마나 근접할 수 있는가?

주요 결과

• 부분 교차 엔트로피와 정규화된 컷이 결합된 공동 손실은 scribble 감독에서 PASCAL VOC 2012 val에서 65.1% mIOU를 달성하여 전체 감독(68.7%)에 근접.
• scribble에 대한 부분 교차 엔트로피 손실만으로 55.8% mIOU를 얻어 여러 세그먼테이션 제안 베이스라인을 능가한다.
• pCE 후 정규화된 컷 정규화를 추가하면 성능이 향상된다(예: NC 없이 60.5% 대 NC와 함께 65.1%).
• joint loss로 DeepLab-ResNet-101를 학습시킨 결과 74.5% mIOU에 도달하여 거의 전체 감독(76.8%)에 근접.
• 정규화된 컷 항은 밀집 가우시안 커널과 permutohedral lattice를 사용하여 선형 시간으로 효율적으로 계산되어 실제 학습을 가능하게 한다.