[논문 리뷰] Fluid Annotation: A Human-Machine Collaboration Interface for Full Image Annotation

Mykhaylo Andriluka|arXiv (Cornell University)|2018. 06. 20.

Advanced Neural Network Applications참고 문헌 80인용 수 20

한 줄 요약

Fluid Annotation은 강력한 신경망 예측을 기반으로 한 인간-기계 협업 인터페이스를 도입하여 단일 프로세스로 전체 이미지의 객체 및 배경 영역을 모두 레이블링할 수 있도록 한다. 사용자가 모델의 오류를 직관적인 편집 작업으로만 수정하도록 하여 LabelMe 대비 약 3배 빠른 속도로 애너테이션 시간을 단축시키면서도 높은 품질의 세그멘테이션을 유지한다.

ABSTRACT

We introduce Fluid Annotation, an intuitive human-machine collaboration interface for annotating the class label and outline of every object and background region in an image. Fluid annotation is based on three principles: (I) Strong Machine-Learning aid. We start from the output of a strong neural network model, which the annotator can edit by correcting the labels of existing regions, adding new regions to cover missing objects, and removing incorrect regions. The edit operations are also assisted by the model. (II) Full image annotation in a single pass. As opposed to performing a series of small annotation tasks in isolation, we propose a unified interface for full image annotation in a single pass. (III) Empower the annotator. We empower the annotator to choose what to annotate and in which order. This enables concentrating on what the machine does not already know, i.e. putting human effort only on the errors it made. This helps using the annotation budget effectively. Through extensive experiments on the COCO+Stuff dataset, we demonstrate that Fluid Annotation leads to accurate annotations very efficiently, taking three times less annotation time than the popular LabelMe interface.

연구 동기 및 목표

• 심층학습에서 세그멘테이션을 위한 비용이 많이 드는 수작업 애너테이션으로 인한 증가하는 성능 저하 문제를 해결한다.
• 객체 인스턴스와 스타프 클래스(예: 배경 영역)를 포함한 전체 이미지 애너테이션의 애너테이션 시간과 노력을 줄인다.
• 단일 프로세스로 전체 이미지 애너테이션을 지원하는 직관적인 인터페이스를 설계하여 분할된 마이크로 작업 워크플로우를 피한다.
• 애너테이터가 반복적이거나 중복된 레이블링 작업을 수행하는 것보다 모델 오류 수정에 집중할 수 있도록 한다.
• 품질을 희생시키지 않고 복잡한 시나리오, 특히 미세한 구분이나 모호한 영역이 있는 경우의 애너테이션 효율성을 향상시킨다.

제안 방법

• 각 이미지의 초기 세그멘테이션 마스크로 최고 수준의 신경망 예측(예: 최첨단 모델에서 유도)을 사용한다.
• 애너테이터가 세 가지 핵심 편집 작업을 수행할 수 있도록 허용한다: 새로운 영역 추가, 잘못된 영역 제거, 레이블 또는 깊이 순서 변경.
• 편집 중 실시간 모델 지원을 제공하여 맥락에 기반해 타당한 세그멘테이션을 제안하거나 경계를 정밀하게 조정한다.
• 모든 예측된 영역을 동시에 표시하는 통합 인터페이스를 설계하여 종합적 평가와 정확한 수정을 가능하게 한다.
• 유연한 애너테이션 순서를 지원하여, 모델 신뢰도에 따라 가장 불확실하거나 오류가 발생하기 쉬운 영역을 우선적으로 처리할 수 있도록 한다.
• 실제 전문 애너테이터 평가 이전에 인터페이스 설계 최적화 및 효과 검증을 위해 시뮬레이션된 애너테이터를 활용한다.

실험 결과

연구 질문

• RQ1 인간-기계 협업 인터페이스는 전체 세그멘테이션을 위한 애너테이션 시간을 단축시키면서도 높은 품질의 출력을 유지할 수 있는가?
• RQ2 애너테이터가 편집 순서와 집중 영역을 선택할 수 있도록 허용할 경우, 고정 또는 기계가 지시하는 워크플로우 대비 더 효율적인 애너테이션 노력 사용이 가능한가?
• RQ3 Fluid Annotation이 생성한 애너테이션의 품질은 LabelMe 및 COCO+Stuff와 같은 기존 방법과 비교해 픽셀 수준의 일치도와 세그멘테이션 정확도 측면에서 어떻게 평가되는가?
• RQ4 인터페이스는 반복적이거나 가치가 낮은 애너테이션 작업에 소요되는 시간을 어느 정도 줄이는가?
• RQ5 흐린 객체, 비정형 형태 또는 모호한 클래스 경계와 같은 어려운 케이스를 효과적으로 처리할 수 있는가?

주요 결과

• 전문 애너테이터가 Fluid Annotation을 사용할 경우 LabelMe 인터페이스 대비 평균 애너테이션 시간을 3배 감소시켰다.
• Fluid Annotation은 평균 9회의 애너테이션 동작으로 객체 세그멘테이션에서 83%의 리콜을 달성했으며, 동일한 리콜에 도달하기 위해 LabelMe는 약 2.5배 더 많은 마이크로 동작이 필요했다.
• Fluid Annotation을 사용해 생성된 애너테이션에 대해 전문 애너테이터 간 일치도는 65%에서 69% 사이였으며, 이는 COCO+Stuff에서 보고된 74%의 일치도와 유사하며 인간 애너테이션 데이터셋의 기대 범위 내에 있었다.
• Fluid Annotation에서 가장 시간이 오래 소요되는 동작은 '추가'(18%의 총 시간)였고, 총 시간의 66%는 동작 간의 간격에서 소요되어 의사결정 및 시각적 평가가 주요 시간 소모 요소임을 시사했다.
• 정성적 분석 결과, 인터페이스 간의 불일치는 주로 '벽-콘크리트' vs. '벽-기타'와 같은 레이블의 미세한 차이 또는 모호한 객체 경계로 인한 것이며, 근본적인 세그멘테이션 오류는 아니었다.
• 인터페이스는 대부분의 객체에 대해 잘 작동하지만, 매우 비정형적이거나 흐린 영역(예: 크리스마스 장식, 흐린 문)에서는 조차도 전통적인 다각형 기반 도구조조도 근사 외곽선만 제공할 뿐이다.