[논문 리뷰] Mask Editor : an Image Annotation Tool for Image Segmentation Tasks

Chuanhai Zhang, Kurt Loken외 3명|arXiv (Cornell University)|2018. 09. 17.

Advanced Neural Network Applications참고 문헌 2인용 수 10

한 줄 요약

Mask Editor는 비정형 형태의 물체를 위한 정확하고 효율적인 마스크 생성을 가능하게 하여 이미지 분할 작업을 가속화하는 사용자 친화적인 이미지 주석 도구입니다. 자유곡선 그리기, 경계 박스, 페인팅, 지우기, 슈퍼픽셀 마킹, 다중 클래스 마스크, 마스크 편집 기능을 지원하여 기존의 다각형, 상자 또는 타원만을 사용하는 도구들에 비해 훨씬 높은 효율성을 제공합니다.

ABSTRACT

Deep convolutional neural network (DCNN) is the state-of-the-art method for image segmentation, which is one of key challenging computer vision tasks. However, DCNN requires a lot of training images with corresponding image masks to get a good segmentation result. Image annotation software which is easy to use and allows fast image mask generation is in great demand. To the best of our knowledge, all existing image annotation software support only drawing bounding polygons, bounding boxes, or bounding ellipses to mark target objects. These existing software are inefficient when targeting objects that have irregular shapes (e.g., defects in fabric images or tire images). In this paper we design an easy-to-use image annotation software called Mask Editor for image mask generation. Mask Editor allows drawing any bounding curve to mark objects and improves efficiency to mark objects with irregular shapes. Mask Editor also supports drawing bounding polygons, drawing bounding boxes, drawing bounding ellipses, painting, erasing, super-pixel-marking, image cropping, multi-class masks, mask loading, and mask modifying.

연구 동기 및 목표

• 직물이나 타이어 이미지의 결함과 같은 비정형 형태의 물체를 처리하는 데에 기존 주석 도구의 비효율성을 해결합니다.
• 고급 마스크 생성 기능을 제공하여 딥러닝 기반 이미지 분할 작업의 주석 속도와 정확도를 향상시킵니다.
• 다중 클래스 마스크, 마스크 로딩, 수정 기능을 지원하여 강력한 데이터셋 구축을 위한 다양한 주석 요구사항을 충족시킵니다.
• 컴퓨터 비전 분야의 연구자와 전문가를 위해 맞춤화된 유연하고 사용하기 쉬운 인터페이스를 제공합니다.
• 현재 도구들이 상자, 다각형 또는 타원만 지원하는 데서 비롯되는 제한을 극복하여 복잡한 물체 윤곽선에 적합하지 않은 기존 도구의 한계를 해결합니다.

제안 방법

• 비정형 경계를 가진 물체를 마킹하는 데 주로 자유곡선 그리기를 도입하여 정밀한 분할을 가능하게 합니다.
• 다양한 주석 모드를 지원합니다: 경계 박스, 다각형, 타원, 페인팅, 지우기, 슈퍼픽셀 마킹으로 레이블링의 유연성을 확보합니다.
• 다중 클래스 마스크 생성 기능을 통해 인스턴스 및 세그멘테이션 작업을 지원합니다.
• 마스크 로딩 및 수정 기능을 포함하여 반복적인 보완과 주석 재사용을 가능하게 합니다.
• 이미지 자르기 및 상호작용 편집 기능을 통합하여 데이터셋 준비 워크플로우를 간소화합니다.
• 사용자 학습 곡선을 줄이고 대규모 주석 작업에서 생산성을 높이기 위해 경량이고 직관적인 인터페이스를 설계했습니다.

실험 결과

연구 질문

• RQ1 기존의 다각형 또는 상자 기반 방법에 비해 비정형 형태의 물체를 더 효율적으로 처리할 수 있도록 이미지 주석 도구를 어떻게 개선할 수 있을까요?
• RQ2 자유곡선 그리기는 복잡한 물체 윤곽선에 대해 주석 시간을 얼마나 줄이고 정밀도를 향상시킬 수 있을까요?
• RQ3 예를 들어 페인팅, 지우기, 슈퍼픽셀 마킹 기능을 통합한 통합 주석 도구는 이미지 분할 작업의 워크플로우 효율성을 높일 수 있을까요?
• RQ4 딥러닝 학습을 위한 다중 클래스 마스크 생성 및 반복적인 마스크 편집을 지원하는 데 도구는 얼마나 효과적인가요?
• RQ5 고급 주석 기능은 실제 컴퓨터 비전 응용 분야에서 사용자 생산성과 주석 품질에 어떤 영향을 미칠까요?

주요 결과

• Mask Editor는 기존의 다각형이나 상자 기반 도구에 비해 비정형 형태의 물체에 대한 주석 효율성을 크게 향상시킵니다.
• 자유곡선 그리기 기능의 통합은 복잡한 물체 윤곽선에 대해 더 정확하고 신속한 마스크 생성을 가능하게 합니다.
• 다중 클래스 마스크, 마스크 로딩 및 편집 기능 지원으로 반복적인 보완과 주석 재사용이 가능해져 중복 주석 작업을 줄일 수 있습니다.
• 페인팅, 지우기 및 슈퍼픽셀 마킹 기능의 조합은 마스크 생성의 유연성과 정밀도를 향상시킵니다.
• 인터페이스 설계 덕분에 사용자 학습 시간이 단축되고 생산성이 향상되어 컴퓨터 비전 분야의 대규모 데이터셋 구축에 적합합니다.
• 다양한 주석 모드를 하나의 도구 안에서 지원함으로써 Mask Editor는 딥러닝 기반 이미지 분할을 위한 데이터 준비 파이프라인을 간소화합니다.