[논문 리뷰] Block Annotation: Better Image Annotation for Semantic Segmentation with Sub-Image Decomposition

Hubert Lin, Paul Upchurch외 1명|arXiv (Cornell University)|2020. 02. 16.

Advanced Neural Network Applications참고 문헌 63인용 수 4

한 줄 요약

이 논문은 전체 이미지 대신 작은 이미지 부분 영역(블록)을 대상으로 커뮤니티 기반으로 레이블링하는 블록 애너테이션을 제안한다. 이는 전체 이미지 레이블링 수준의 성능을 달성하면서도 레이블링 대상 픽셀 수를 50%로 줄이고, 레이블링 비율을 12%로 줄였을 때도 최대 98%의 성능를 기록한다. 추가로 인간의 추가 노력 없이도 전체 이미지 레이블을 복원할 수 있는 고품질 인painting 기법을 도입하여, 비용 효율적이고 확장 가능하며 정확도가 높은 밀도 있는 분할(segmentation)을 가능하게 한다.

ABSTRACT

Image datasets with high-quality pixel-level annotations are valuable for semantic segmentation: labelling every pixel in an image ensures that rare classes and small objects are annotated. However, full-image annotations are expensive, with experts spending up to 90 minutes per image. We propose block sub-image annotation as a replacement for full-image annotation. Despite the attention cost of frequent task switching, we find that block annotations can be crowdsourced at higher quality compared to full-image annotation with equal monetary cost using existing annotation tools developed for full-image annotation. Surprisingly, we find that 50% pixels annotated with blocks allows semantic segmentation to achieve equivalent performance to 100% pixels annotated. Furthermore, as little as 12% of pixels annotated allows performance as high as 98% of the performance with dense annotation. In weakly-supervised settings, block annotation outperforms existing methods by 3-4% (absolute) given equivalent annotation time. To recover the necessary global structure for applications such as characterizing spatial context and affordance relationships, we propose an effective method to inpaint block-annotated images with high-quality labels without additional human effort. As such, fewer annotations can also be used for these applications compared to full-image annotation.

연구 동기 및 목표

• 의미 분할을 위한 고품질 픽셀 수준의 레이블링에 소요되는 비용과 시간을 줄이기 위해.
• 희박한 블록 단위의 애너테이션이 밀도 높은 전체 이미지 애너테이션과 비교해 유사한 성능를 달성할 수 있는지 탐색하기 위해.
• 추가적인 인간 레이블링 없이도, 희박한 블록 애너테이션으로부터 전체 고품질 분할 맵을 효과적으로 복원할 수 있는 방법을 개발하기 위해.
• 약한 지도 학습 설정에서 블록 애너테이션의 성능를 평가하고, 동일한 레이블링 시간 조건에서 기존 방법과 비교하기 위해.
• 인페인팅 품질과 레이블링 효율성을 극대화하는 최적의 블록 패턴과 선택 전략을 조사하기 위해.

제안 방법

• 메서드는 작은, 겹치지 않는 부분 영상 블록(예: 10×10 픽셀)을 단위로 삼아 전체 이미지 픽셀 수준의 레이블링을 대체한다.
• 현존하는 다각형 또는 윤곽선 도구를 사용해 커뮤니티 워커들이 이러한 부분 영상 블록을 애너테이션하여 확장 가능하고 저비용의 데이터 수집을 가능하게 한다.
• 딥 러닝 기반의 인페인팅 모델이 공간적 맥락과 경계 신호를 활용해 희박한 블록 애너테이션으로부터 전체 이미지 분할 마스크를 예측한다.
• 이 인페인팅 모델은 다양한 블록 패턴에 일반화하도록 훈련되며, 레이블링 희박성과 블록 구성에 따라 평가된다.
• 랜덤, 체크어웨이, 경계선 전용 등 다양한 블록 선택 전략을 테스트하여 인페인팅 성능에 가장 적합한 힌트 패턴을 도출한다.
• 모델은 불확실성 추정을 활용해 저신뢰도 예측을 걸러내어 레이블 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 블록 애너테이션은 레이블링 비용을 크게 줄이고도 전체 이미지 애너테이션 수준의 의미 분할 성능를 달성할 수 있는가?
• RQ2 레이블링 밀도가 증가함에 따라(예: 12%, 50%, 100%) 블록 애너테이션 기반 모델의 성능는 어떻게 변화하는가?
• RQ3 딥 러닝 모델이 추가적인 인간 레이블링 없이도 희박한 블록 애너테이션으로부터 전체 이미지 분할 마스크를 효과적으로 복원할 수 있는가?
• RQ4 다양한 블록 선택 패턴(예: 체크어웨이, 랜덤, 경계선 전용)은 복원된 분할 마스크의 품질에 어떤 영향을 미치는가?
• RQ5 동일한 레이블링 시간 조건에서 기존의 약한 지도 학습 방법과 비교해 블록 애너테이션은 성능와 레이블링 시간 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 블록 애너테이션은 전체 이미지 애너테이션과 동일한 의미 분할 성능를 달성하면서도 레이블링 대상 픽셀 수를 50%로 줄였다.
• 블록을 통해 레이블링한 픽셀 비율이 12%에 불과할 때도 전체 애너테이션 성능의 98%를 기록했다.
• 약한 지도 학습 설정에서, 동일한 레이블링 시간 조건에서 기존 방법보다 3-4%의 절대 mIOU 성능 향상을 기록했다.
• Cityscapes 데이터셋에서 블록-50% 애너테이션 조건에서 블록 인페인팅 모델은 92%의 mIOU를 달성했고, 자동 분할 기법은 78%에 머물렀다.
• 체크어웨이 블록 패턴은 랜덤 블록 패턴보다 성능이 뛰어나, 이상적인 '매번 한 픽셀 건너' 패턴 대비 95%의 상대적 mIOU를 기록했다.
• 블록 경계선에서 10픽셀 이내의 픽셀만 애너테이션하는 것으로도 전체 블록 애너테이션과 거의 동일한 성능를 달성했으며, 이는 경계 픽셀이 인페인팅에 가장 유용한 정보를 제공함을 시사한다.