[논문 리뷰] From colouring-in to pointillism: revisiting semantic segmentation supervision

Rodrigo Benenson, Vittorio Ferrari|arXiv (Cornell University)|2022. 10. 25.

COVID-19 diagnosis using AI인용 수 9

한 줄 요약

이 논문은 인간 레이블러가 밀도 높은 픽셀 레이블링 대신 점별 클래스 존재 여부에 대한 단순 예/아니오 질문에 답하는 포인트일리스트(annotation) 파라다임을 제안한다. 이 방법은 140만 장의 이미지에 걸쳐 4,171개 클래스에 대해 확장 가능하고 빠르며 신뢰할 수 있는 레이블링을 가능하게 하며, Open Images V7에 2,260만 개의 점 레이블을 공개하여, 밀도 높은 레이블링 없이도 고성능의 세분화 모델을 훈련시킬 수 있음을 보여준다.

ABSTRACT

The prevailing paradigm for producing semantic segmentation training data relies on densely labelling each pixel of each image in the training set, akin to colouring-in books. This approach becomes a bottleneck when scaling up in the number of images, classes, and annotators. Here we propose instead a pointillist approach for semantic segmentation annotation, where only point-wise yes/no questions are answered. We explore design alternatives for such an active learning approach, measure the speed and consistency of human annotators on this task, show that this strategy enables training good segmentation models, and that it is suitable for evaluating models at test time. As concrete proof of the scalability of our method, we collected and released 22.6M point labels over 4,171 classes on the Open Images dataset. Our results enable to rethink the semantic segmentation pipeline of annotation, training, and evaluation from a pointillism point of view.

연구 동기 및 목표

• 세분화에서 밀도 높은 픽셀 수준의 레이블링에 발생하는 확장성 문제를 해결한다.
• 색칠하기 작업을 단순한 점별 예/아니오 질문으로 대체하여 레이블링 시간과 인지적 부담을 줄인다.
• 최소한의 훈련과 높은 병렬 처리를 통해 수천 개의 클래스에 걸쳐 대규모 레이블링을 가능하게 한다.
• 희소한 점 레이블링이 효과적으로 세분화 모델을 훈련하고 평가하는 데 사용될 수 있음을 입증한다.

제안 방법

• 기계 학습 모델을 사용해 높은 불확실성의 점을 선별하고, 해당 점에서의 클래스 존재 여부에 대해 인간 레이블러에게 예/아니오 질문을 제기한다.
• 주어진 영역의 모호함이나 불확실성을 집중적으로 다루기 위해 액티브 러닝 기반의 반복적 정밀 조정을 수행한다.
• 각 점에 대해 다수의 레이블러 응답을 집계하여 신뢰도를 향상시키며, 해결되지 않은 케이스는 검토 대상으로 표시한다.
• 기존의 이미지 수준 레이블을 활용하고, 점 레이블을 훈련 및 평가를 위한 통합된 데이터 파이프라인에 통합한다.
• 희귀 클래스가 덜 레이블링되도록 하기 위해 클래스 분포를 모델링하기 위해 지프의 법칙을 적용한다.
• 점 레이블을 변환하고 융합하여 Open Images V7에 통합하여 총 140만 장의 이미지에 5,827개 클래스를 지원한다.

실험 결과

연구 질문

• RQ1 포인트일리스트 레이블링 전략은 레이블 품질을 유지하면서도 레이블링 시간을 크게 줄일 수 있는가?
• RQ2 희소한 점 수준의 레이블링만으로 효과적인 세분화 모델을 훈련시킬 수 있는가?
• RQ3 단순한 예/아니오 질문에 응답할 때 인간 레이블러의 성능이 밀도 높은 레이블링과 비교해 어떻게 다른가?
• RQ4 기반점 기반 레이블링이 테스트 시점에 신뢰할 수 있는 모델 평가를 지원할 수 있는가?
• RQ5 제안된 방법이 수천 개의 클래스와 대규모 데이터셋에 대해 효과적으로 확장 가능한가?

주요 결과

• 레이블러는 평균적으로 응답당 1.1초 내로 질문에 답변하여 높은 속도와 효율성을 입증했다.
• 세 명의 레이블러가 응답한 점에 대해 인간 간 일치도가 98%에 도달하여 레이블 일관성이 확인되었다.
• 전체적으로 4,171개 클래스에 걸쳐 2,260만 개의 점 레이블이 포함되어 있으며, 예(Yes) 응답은 420만 개, 아니오(No) 응답은 1,610만 개였다.
• 3,189개의 클래스가 최소 한 개 이상의 양성(예) 레이블을 가지며, 2,664개 클래스는 세 개 이상의 레이블을 확보하여 광범위한 클래스 커버리지를 보였다.
• 클래스별 예 응답 분포는 지프의 법칙을 따르며, 소수의 클래스는 많은 레이블을 받고 대부분의 클래스는 적은 레이블을 받는다.
• 점 레이블을 사용해 235개 클래스에 대해 훈련한 세분화 모델이 합리적인 출력을 생성하여, 밀도 높은 레이블링 대비 실용적인 대안임을 검증했다.