[논문 리뷰] What's the Point: Semantic Segmentation with Point Supervision

Amy Bearman, Olga Russakovsky외 2명|arXiv (Cornell University)|2015. 06. 06.

Advanced Neural Network Applications참고 문헌 46인용 수 47

한 줄 요약

이 논문은 의미 분할을 위한 더 효율적인 대안으로, 각 객체 클래스당 하나의 점을 지정하는 점 수준의 감독을 제안한다. 이미지 수준 또는 전체 픽셀 수준의 레이블링과 비교하여, 학습된 객체 존재도 사전을 컨volutional 네트워크 손실에 통합함으로써, PASCAL VOC 2012에서 43.6% mIOU를 달성하였으며, 이는 이미지 수준 감독보다 12.9% mIOU 높고, 동일한 레이블링 예산 내에서 스위글 레벨 또는 전체 감독을 받은 모델을 능가한다.

ABSTRACT

The semantic image segmentation task presents a trade-off between test time accuracy and training-time annotation cost. Detailed per-pixel annotations enable training accurate models but are very time-consuming to obtain, image-level class labels are an order of magnitude cheaper but result in less accurate models. We take a natural step from image-level annotation towards stronger supervision: we ask annotators to point to an object if one exists. We incorporate this point supervision along with a novel objectness potential in the training loss function of a CNN model. Experimental results on the PASCAL VOC 2012 benchmark reveal that the combined effect of point-level supervision and objectness potential yields an improvement of 12.9% mIOU over image-level supervision. Further, we demonstrate that models trained with point-level supervision are more accurate than models trained with image-level, squiggle-level or full supervision given a fixed annotation budget.

연구 동기 및 목표

• 의미 분할에서 레이블링 비용을 줄이면서 이미지 수준 감독을 초월하는 정확도 향상을 목표로 한다.
• 최소한의 인간 노력이 필요한 점 수준의 레이블링이 강력하고 실용적인 약한 감독 형태로 기능할 수 있는지 조사한다.
• 희소한 점 수준의 감독에서 전체 객체 영역을 예측할 수 있도록 도와주는 객체 존재도 사전을 통합한 새로운 학습 손실을 개발한다.
• 전체, 스위글, 이미지 수준, 점 수준 감독을 포함한 여러 감독 방식 간에 레이블링 시간과 분할 정확도의 상호 교환 관계를 평가한다.
• 미래의 의미 분할 연구에서 점 수준 감독의 보급을 촉진하기 위해 공개된 데이터셋과 레이블링 인터페이스를 제공한다.

제안 방법

• 레이블러들은 각 이미지에서 객체 클래스당 하나의 인스턴스에 해당하는 점을 지정하도록 요청받으며, 이는 픽셀 수준의 레이블링에 비해 레이블링 시간을 크게 줄인다.
• 딥 컨volution 네트워크(CNN)는 점 수준의 감독과 학습된 객체 존재도 잠재력을 결합한 수정된 손실 함수를 사용하여 학습된다.
• 객체 존재도 잠재력은 각 픽셀에 대해 해당 위치가 객체에 속할 가능성을 추정하는 점수로, 사전에 훈련된 객체 존재도 모델에서 유도된다.
• 손실 함수는 점 수준 감독을 위한 교차 엔트로피와 객체 존재도 점수의 가중합을 조합하여, 네트워크가 객체 영역에서 높은 신뢰도를 예측하도록 유도한다.
• 표준 CNN 아키텍처(예: FCN-8s 또는 유사한 구조)를 사용하여 확률적 경사 하강법으로 엔드 투 엔드로 학습되며, 이는 이전 연구에서 유도된 것이다.
• 객체 존재도 사전은 훈련 중에 손실의 단항 항으로 적용되어, 희소한 감독 조건에서도 객체와 배경을 구분할 수 있도록 네트워크 학습을 돕는다.

실험 결과

연구 질문

• RQ1 레이블러가 모든 픽셀을 레이블링하는 대신 객체에 한 점을 지정하는 점 수준 감독이 이미지 수준 감독보다 유의미하게 높은 분할 정확도를 달성할 수 있는가?
• RQ2 고정된 레이블링 예산 하에서 점 수준 감독의 성능이 스위글, 경계 상자 등 다른 약한 감독 형태와 비교해 어떻게 되는가?
• RQ3 학습 손실에 효과적으로 통합된 학습된 객체 존재도 사전은 희소한 점 수준의 레이블에서 일반화 성능을 향상시키는 데 기여하는가?
• RQ4 전체 레이블링 시간이 제한된 조건에서 점 수준 감독이 전체 픽셀 수준 감독을 능가하는가?
• RQ5 점 수준 감독과 객체 존재도 사전의 조합이 개별적으로 사용했을 때보다 더 효과적인가?

주요 결과

• PASCAL VOC 2012 검증 세트에서 점 수준 감독은 이미지 수준 감독보다 mIOU 기준 12.9% 향상되어 42.9% mIOU를 달성하였다.
• 고정된 레이블링 예산 하에서 점 수준 감독으로 훈련된 모델은 이미지 수준, 스위글 수준, 전체 픽셀 수준 감독으로 훈련된 모델보다 mIOU 기준 2.7~20.8% 높은 성능을 보였다.
• PASCAL VOC 2012 테스트 세트에서 본 방법은 43.6% mIOU를 기록하였으며, 이미지 수준 감독(29.8% mIOU)을 능가하고 다른 약한 지도 학습 방법과 비교해도 동등하거나 승리하였다.
• 객체 존재도 사전은 일반화 능력을 크게 향상시켜, 전체 객체 영역이 레이블링되지 않은 상태에서 한 클래스당 한 점만으로도 정확한 분할 예측이 가능하게 하였다.
• 9,576장의 이미지에 대해 점 수준 감독의 레이블링 시간은 약 79시간으로 추정되며, 전체 픽셀 수준 감독의 800시간에 비해 훨씬 효율적이다.
• 본 방법은 강건하고 일반화 능력이 뛰어나, 단순화된 베이스라인 모델이라도 점 수준 감독을 사용할 경우 최신 약한 지도 학습 모델을 능가한다.