[논문 리뷰] Box-driven Class-wise Region Masking and Filling Rate Guided Loss for Weakly Supervised Semantic Segmentation

Chunfeng Song, Yan Huang외 2명|arXiv (Cornell University)|2019. 04. 26.

Advanced Neural Network Applications참고 문헌 46인용 수 15

한 줄 요약

이 논문은 경계 박스 애너테이션만을 사용하여 약한 지도 학습 세그멘테이션을 위한 박스 기반 클래스별 마스킹(BCM) 모델과 채우기 비율 유도 적응형 손실(FR-loss)을 제안한다. 클래스별 마스크를 학습하고 평균 픽셀 채우기 비율을 사전 지식으로 사용하여 신뢰도 높은 영역을 선별함으로써, 정확도를 향상시키고 정확하지 않은 제안 영역에서 유발되는 노이즈를 감소시켜 PASCAL VOC 2012에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semantic segmentation has achieved huge progress via adopting deep Fully Convolutional Networks (FCN). However, the performance of FCN based models severely rely on the amounts of pixel-level annotations which are expensive and time-consuming. To address this problem, it is a good choice to learn to segment with weak supervision from bounding boxes. How to make full use of the class-level and region-level supervisions from bounding boxes is the critical challenge for the weakly supervised learning task. In this paper, we first introduce a box-driven class-wise masking model (BCM) to remove irrelevant regions of each class. Moreover, based on the pixel-level segment proposal generated from the bounding box supervision, we could calculate the mean filling rates of each class to serve as an important prior cue, then we propose a filling rate guided adaptive loss (FR-Loss) to help the model ignore the wrongly labeled pixels in proposals. Unlike previous methods directly training models with the fixed individual segment proposals, our method can adjust the model learning with global statistical information. Thus it can help reduce the negative impacts from wrongly labeled proposals. We evaluate the proposed method on the challenging PASCAL VOC 2012 benchmark and compare with other methods. Extensive experimental results show that the proposed method is effective and achieves the state-of-the-art results.

연구 동기 및 목표

• 약한 지도 학습 경계 박스 애너테이션에서 정확한 세그멘테이션을 학습하는 데 도전하는 것.
• 경계 박스에서 유도된 픽셀 수준의 제안 영역에서 노이즈 또는 정확하지 않은 영향을 줄이는 것.
• 각 클래스의 평균 채우기 비율과 같은 전역 통계적 신호를 통합하여 모델 일반화 능력을 향상시키는 것.
• 클래스별 채우기 비율 사전 지식에 기반해 동적으로 높은 신뢰도 예측 영역을 선택하는 방법을 개발하는 것.

제안 방법

• 백그라운드 영역를 억제하고 전경 객체를 강조하기 위해 클래스별 주의 맵을 학습하는 박스 기반 클래스별 마스킹(BCM) 모델을 제안한다.
• 비지도 CRF 또는 MCG 기반 방법을 사용하여 경계 박스에서 초기 픽셀 수준의 제안 영역을 생성한다.
• 학습 샘플 전반에 걸쳐 각 클래스의 평균 픽셀 채우기 비율을 계산하여 전역 통계적 사전 지식으로 사용한다.
• 클래스별 채우기 비율에 기반해 백프로파게이션 중 상위-k 점수 선택을 조정하는 채우기 비율 유도 적응형 손실(FR-loss)을 도입한다.
• 각 클래스의 기대 채우기 비율에 가중치를 적용하여 높은 신뢰도 점수를 가진 영역을 우선순위로 지정하는 손실 함수를 적응시킨다.
• 약한 지도 학습 및 준지도 학습 설정 모두에 이 방법을 적용하여 강건성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 클래스별 마스킹은 약한 지도 학습 세그멘테이션에서 객체 영역의 국소화를 향상시킬 수 있는가?
• RQ2 샘플 간 평균 픽셀 채우기 비율은 약한 지도 학습에서 손실 최적화를 유도하는 효과적인 사전 지식이 될 수 있는가?
• RQ3 채우기 비율에 기반한 적응형 손실 선택은 노이즈 또는 정확하지 않은 제안 영향을 줄일 수 있는가?
• RQ4 제안된 방법은 경계 박스 애너테이션만을 사용하여 PASCAL VOC 2012에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 경계 박스 지도만으로 PASCAL VOC 2012 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• BCM 모델은 클래스별 주의 맵을 학습하여 배경 및 혼잡한 영역을 효과적으로 억제한다.
• FR-loss는 클래스별 채우기 비율 사전 지식에 기반한 높은 신뢰도 예측을 우선순위로 지정함으로써 모델의 강건성을 크게 향상시킨다.
• 이 방법은 제한된 완전한 애너테이션 데이터를 가진 준지도 학습 설정에도 잘 일반화되어 강력한 성능을 유지한다.
• 정성적 결과는 특히 다양한 형태와 채우기 비율을 가진 객체에 대해 더 정확하고 일관성 있는 세그멘테이션 마스크를 생성함을 보여준다.
• 실패 사례는 복잡한 환경, 예를 들어 가림당하거나 옷에 가려진 객체에서의 과제를 드러내며 향후 개선 여지를 시사한다.