[논문 리뷰] Budget-aware Semi-Supervised Semantic and Instance Segmentation

Míriam Bellver, Amaia Salvador외 2명|arXiv (Cornell University)|2019. 05. 14.

Web Data Mining and Analysis참고 문헌 33인용 수 23

한 줄 요약

이 논문은 낮은 주석 비용으로도 약한 지도 학습 방법보다 뛰어난 성능을 보이는 예산 인지(semi-supervised) 프레임워크를 제안한다. 강한 주석 데이터의 소수를 활용하고 주석 네트워크에서 생성된 가짜 주석(pseudo-annotations)을 결합함으로써, Pascal VOC에서 최대 42.9 AP50 성능을 달성하면서 총 주석 시간이 2.21일 뿐이 되어, 더 적은 고급 품질의 레이블이 더 큰 규모의 약한 레이블보다 효과적임을 입증한다.

ABSTRACT

Methods that move towards less supervised scenarios are key for image segmentation, as dense labels demand significant human intervention. Generally, the annotation burden is mitigated by labeling datasets with weaker forms of supervision, e.g. image-level labels or bounding boxes. Another option are semi-supervised settings, that commonly leverage a few strong annotations and a huge number of unlabeled/weakly-labeled data. In this paper, we revisit semi-supervised segmentation schemes and narrow down significantly the annotation budget (in terms of total labeling time of the training set) compared to previous approaches. With a very simple pipeline, we demonstrate that at low annotation budgets, semi-supervised methods outperform by a wide margin weakly-supervised ones for both semantic and instance segmentation. Our approach also outperforms previous semi-supervised works at a much reduced labeling cost. We present results for the Pascal VOC benchmark and unify weakly and semi-supervised approaches by considering the total annotation budget, thus allowing a fairer comparison between methods.

연구 동기 및 목표

• 모든 지도 학습 유형에 관계없이 총 주석 비용을 기준으로 하는 통합 벤치마크를 설정하여 영역 및 인스턴스 세그멘테이션을 비교하는 것.
• 주석 시간이 제한된 조건에서 소수의 강한 주석을 사용하는 준지도 학습이 약한 지도 학습 방법보다 성능이 뛰어나게 되는지 조사하는 것.
• 낮은 예산 환경에서 강한 주석과 약한 레이블(예: 개체 수가 포함된 이미지 수준 레이블)을 융합하는 것이 효과적인지 평가하는 것.
• 추가 데이터 없이 Pascal VOC에서 준지도 인스턴스 세그멘테이션에 대한 첫 번째 정량적 결과를 제시하는 것.
• 주석 비용을 줄이기 위해 대규모 약한 레이블 세트보다 고급 품질의 강한 레이블을 우선시할 경우 성능 향상이 이루어지는지 입증하는 것.

제안 방법

• 강한 레이블로 훈련된 주석 네트워크가 미주석 또는 약한 레이블이 있는 데이터에 대해 가짜 주석을 생성하는 이중 네트워크 파이프라인.
• 주석 네트워크에서 생성한 가짜 주석과 실제 강한 주석의 결합을 기반으로 세그멘테이션 네트워크를 훈련하는 방식.
• 이미지 수준 레이블과 개체 수(IL+C) 및 이미지 특징을 활용하여 주석 네트워크를 미세 조정함으로써 가짜 주석의 품질을 향상시키는 방법.
• 약한 레이블(예: 개체 수가 포함된 이미지 수준 레이블)을 주석 파이프라인에 통합함으로써 이질적인 지도 학습을 지원하고 총 주석 비용을 적절히 조정하는 방식.
• 강한 레이블 및 약한 레이블 샘플 수에 따라 주석 비용을 함수로 모델링함으로써, 다양한 지도 학습 방식 간의 공정한 비교를 가능하게 하는 방법.
• 인간 주석 작업의 노력 기반으로 총 주석 시간을 계산하여 Pascal VOC에서 다양한 예산 조건에서 프레임워크를 평가하는 방식.

실험 결과

연구 질문

• RQ1 총 주석 비용이 고정된 조건에서 소수의 강한 주석을 사용하는 준지도 학습 접근법이 약한 지도 학습 방법보다 성능이 뛰어나게 되는가?
• RQ2 이미지 수준 레이블에 개체 수 정보를 추가한 약한 지도 신호가 낮은 예산 환경에서 가짜 주석 품질 향상에 기여하는가?
• RQ3 준지도 학습 파이프라인에 약한 레이블을 추가하는 것이 순수하게 강한 레이블에 의존하는 것보다 더 비용 효율적인 지점이 존재하는가?
• RQ4 주석 시간을 최소화했을 때 준지도 인스턴스 세그멘테이션의 성능이 약한 지도 학습 방법과 비교해 어떻게 되는가?
• RQ5 고정된 주석 예산 조건에서 세그멘테이션 정확도를 최대화하기 위해 강한 레이블과 약한 레이블의 조합 비율을 어떻게 설정할 수 있는가?

주요 결과

• 약 0.27일의 예산에서 RSIS(강한 레이블 전용)는 14.9 AP50를 달성했고, 100개의 강한 레이블과 912개의 약한 레이블을 사용한 W-RSIS는 0.51일의 예산에서 25.2 AP50를 기록하여, 예산이 낮을 경우 약한 레이블이 성능 향상에 기여함을 보여준다.
• 2.21일의 주석 시간을 사용할 경우, 800개의 강한 레이블을 사용한 RSIS는 42.9 AP50를 달성했으며, 동일한 예산에서 주지 등 [35]의 26.8 AP50를 크게 능가한다.
• 주석 비용의 절반(1.1일)으로도, 400개의 강한 레이블을 사용한 RSIS는 35.5 AP50를 달성했고, 주지 등 [35]는 2.43일의 주석 시간을 소요하여 26.8 AP50를 기록한 것보다 뛰어난 성능이다.
• 200개의 강한 레이블과 2279개의 약한 레이블을 사용한 W-RSIS는 1.14일의 주석 시간에 30.8 AP50를 기록했고, 200개의 강한 레이블과 10382개의 미주석 데이터를 사용한 RSIS는 0.55일의 주석 시간에 23.7 AP50를 기록하여 W-RSIS가 더 뛰어난 성능을 보였다.
• 제안된 방법은 추가 데이터 없이 Pascal VOC에서 준지도 인스턴스 세그멘테이션에 대한 첫 번째 정량적 결과를 제공하며, 저비용 조건에서 새로운 SOTA 성능을 확립했다.
• 결과는 주석 시간이 제한된 조건에서 더 적은 고급 품질의 강한 레이블이 더 큰 규모의 약한 레이블 세트보다 효과적임을 입증한다.