[論文レビュー] Mask Editor : an Image Annotation Tool for Image Segmentation Tasks

Chuanhai Zhang, Kurt Loken+3 more|arXiv (Cornell University)|Sep 17, 2018

Advanced Neural Network Applications参考文献 2被引用数 10

ひとこと要約

Mask Editor は、不規則な形状のオブジェクト向けに、自由な曲線描画やマスク編集機能を備えた使いやすい画像アノテーションツールであり、画像セグメンテーションタスクの高速化を図る。自由な曲線描画、ボーディングシェイプ、ペイント、消去、スーパーピクセルマーク、マルチクラスマスク、マスク編集をサポートし、従来のポリゴン、ボックス、楕円に依存するツールに比べ、著しく効率性が向上する。

ABSTRACT

Deep convolutional neural network (DCNN) is the state-of-the-art method for image segmentation, which is one of key challenging computer vision tasks. However, DCNN requires a lot of training images with corresponding image masks to get a good segmentation result. Image annotation software which is easy to use and allows fast image mask generation is in great demand. To the best of our knowledge, all existing image annotation software support only drawing bounding polygons, bounding boxes, or bounding ellipses to mark target objects. These existing software are inefficient when targeting objects that have irregular shapes (e.g., defects in fabric images or tire images). In this paper we design an easy-to-use image annotation software called Mask Editor for image mask generation. Mask Editor allows drawing any bounding curve to mark objects and improves efficiency to mark objects with irregular shapes. Mask Editor also supports drawing bounding polygons, drawing bounding boxes, drawing bounding ellipses, painting, erasing, super-pixel-marking, image cropping, multi-class masks, mask loading, and mask modifying.

研究の動機と目的

• 織物やタイヤ画像における欠陻などの不規則な形状のオブジェクトを効率的に処理できない既存のアノテーションツールの非効率性を是正すること。
• 深層学習に基づく画像セグメンテーションの精度と速度を向上させるために、高度なマスク作成機能を提供すること。
• マルチクラスマスク、マスクの読み込み、変更をサポートし、堅牢なデータセット作成を可能にすること。
• 研究者やコンピュータビジョン分野の実務家に特化した、柔軟で使いやすいインターフェースを提供すること。
• 現在のツールがボックス、ポリゴン、楕円に限定されている点を克服し、複雑なオブジェクトの輪郭に対応できない点を是正すること。

提案手法

• 不規則な境界を持つオブジェクトをマークする主な方法として、自由な曲線描画を導入し、正確なセグメンテーションを可能にする。
• 複数のアノテーションモードをサポート：ボックス、ポリゴン、楕円、ペイント、消去、スーパーピクセルマークなど、柔軟なラベリングを実現。
• インスタンスセグメンテーションおよびセマンティックセグメンテーションタスクをサポートするマルチクラスマスク生成を実装。
• マスクの読み込みと編集機能を備え、繰り返しの修正やアノテーションの再利用を可能にする。
• 画像のクロッピングとインタラクティブ編集を統合し、データセット準備ワークフローを最適化。
• ユーザーの学習コストを抑える軽量で直感的なインターフェースを設計し、大規模なアノテーションタスクにおける生産性を向上。

実験結果

リサーチクエスチョン

• RQ1 既存のポリゴンやボックスベースの方法に比べ、不規則な形状のオブジェクトをより効率的に処理できる画像アノテーションツールはどのように改善できるか？
• RQ2 自由な曲線描画は、複雑なオブジェクトの輪郭に対して、どの程度アノテーション時間を短縮し、正確性を向上させるか？
• RQ3 ペイント、消去、スーパーピクセルマークなどの複数のアノテーションモードを統合した統合型ツールは、画像セグメンテーションのワークフロー効率をどのように向上させるか？
• RQ4 マルチクラスマスク作成と繰り返しのマスク編集をサポートする本ツールは、深層学習の学習プロセスにおいてどの程度効果的か？
• RQ5 高度なアノテーション機能は、実世界のコンピュータビジョン応用において、ユーザーの生産性とアノテーション品質にどのような影響を与えるか？

主な発見

• Mask Editor は、従来のポリゴンやボックスに依存するツールに比べ、不規則な形状のオブジェクトに対するアノテーション効率を顕著に向上させる。
• 自由な曲線描画の導入により、複雑なオブジェクトの境界に対して、より正確かつ迅速なマスク作成が可能になる。
• マルチクラスマスク、マスクの読み込み、編集機能のサポートにより、繰り返しの修正と再利用が可能となり、重複したアノテーション作業が削減される。
• ペイント、消去、スーパーピクセルマークの機能統合により、マスク生成の柔軟性と正確性が向上する。
• インターフェース設計のおかげで、ユーザーの学習時間の短縮と生産性の向上が実現され、コンピュータビジョン分野の大規模データセット作成に適している。
• 複数のアノテーションモードを1つのツールに統合することで、深層学習ベースの画像セグメンテーションのデータ準備パイプラインが大幅に簡素化される。