[論文レビュー] Fluid Annotation: A Human-Machine Collaboration Interface for Full Image Annotation

Mykhaylo Andriluka|arXiv (Cornell University)|Jun 20, 2018

Advanced Neural Network Applications参考文献 80被引用数 20

ひとこと要約

Fluid Annotation は、強力なニューラルネットワーク予測を出発点として、1回のパスで全画像のアノテーション（すべてのオブジェクトおよび背景領域のラベリング）を可能にする人間と機械の協働インターフェースを導入する。アノテーターが直感的な編集操作によりモデルの誤りのみに集中できるようにすることで、LabelMe よりもアノテーション時間を 3 倍短縮しつつ、高品質なセグメンテーションを維持する。

ABSTRACT

We introduce Fluid Annotation, an intuitive human-machine collaboration interface for annotating the class label and outline of every object and background region in an image. Fluid annotation is based on three principles: (I) Strong Machine-Learning aid. We start from the output of a strong neural network model, which the annotator can edit by correcting the labels of existing regions, adding new regions to cover missing objects, and removing incorrect regions. The edit operations are also assisted by the model. (II) Full image annotation in a single pass. As opposed to performing a series of small annotation tasks in isolation, we propose a unified interface for full image annotation in a single pass. (III) Empower the annotator. We empower the annotator to choose what to annotate and in which order. This enables concentrating on what the machine does not already know, i.e. putting human effort only on the errors it made. This helps using the annotation budget effectively. Through extensive experiments on the COCO+Stuff dataset, we demonstrate that Fluid Annotation leads to accurate annotations very efficiently, taking three times less annotation time than the popular LabelMe interface.

研究の動機と目的

• セマンティックセグメンテーションのための高コストな手作業による画像アノテーションが、ディープラーニングの成長を妨げるという課題に対処する。
• オブジェクトインスタンスとスタフクラス（例：背景領域）を含む、完全な画像アノテーションのためのアノテーション時間と作業負荷を低減する。
• 複数のマイクロタスクワークフローに分断されない、1回のパスで全画像アノテーションが可能な直感的なインターフェースを設計する。
• アノテーターが繰り返しのまたは余分なラベリング作業ではなく、モデルの誤りの修正に集中できるように支援する。
• 特に細分化されたまたは曖昧な領域を含む複雑なシーンにおいても、品質を損なわずアノテーションの効率を向上させる。

提案手法

• 各画像の初期セグメンテーションマスクとして、最先端のモデルからの高品質なニューラルネットワーク予測を用いる。
• アノテーターが3つのコア編集操作を実行できるようにする：新しい領域の追加、誤った領域の削除、ラベルまたは深度順序の変更。
• 編集中にリアルタイムのモデル支援を提供し、文脈に基づいて妥当なセグメンテーションを提案したり境界を精緻化したりする。
• すべての予測された領域を同時に表示する統合インターフェースを設計し、全体像の評価と的確な修正を可能にする。
• アノテーターがモデルの信頼度に従って、最も不確実性が高く誤りが生じやすい領域を最初に処理できる柔軟なアノテーション順序をサポートする。
• 実際のエキスパートアノテーターによる評価の前に、インターフェース設計の最適化と有効性の検証のため、シミュレーテッドアノテーターを用いる。

実験結果

リサーチクエスチョン

• RQ1 人間と機械の協働インターフェースは、高品質な出力を維持しながら、完全な画像セグメンテーションのアノテーション時間を短縮できるか？
• RQ2 アノテーターが編集の順序と焦点を自由に選べる場合、固定または機械が指示するワークフローと比較して、アノテーション作業の効率が向上するか？
• RQ3 Fluid Annotation が生成するアノテーションの品質は、LabelMe や COCO+Stuff といった既存手法と比較して、ピixe単位の一致度とセグメンテーション精度の観点でどの程度か？
• RQ4 このインターフェースは、繰り返しの発生しやすいまたは価値の低いアノテーション作業に費やす時間の短縮をどの程度達成できるか？
• RQ5 ぼやけたオブジェクト、不規則な形状、曖昧なクラス境界といった困難なケースに対しても、インターフェースは効果的に対処できるか？

主な発見

• Expert annotators が Fluid Annotation を使用した場合、LabelMe インターフェースと比較して平均してアノテーション時間を 3 倍短縮する。
• Fluid Annotation では、オブジェクトセグメンテーションのリCALLが 83% に達するが、平均して 1 イメージあたり 9 回のアノテーション操作で達成され、LabelMe が同じリCALLに到達するには 2.5 倍のマイクロアクションが必要となる。
• Fluid Annotation で生成されたアノテーションのアノテーター間合意度は、エキスパートアノテーター間で 65% から 69% の範囲に収まり、COCO+Stuff で報告された 74% の合意度と同等であり、人間によるアノテーションデータセットの期待される範囲内にある。
• Fluid Annotation における最も時間のかかる操作は「追加」（全時間の 18%）であり、66% の時間は操作の間の時間であるため、意思決定と視覚的評価が主な時間要因であることが示された。
• 定性的な分析から、インターフェース間の不一致は、主に「wall-concrete」と「wall-other」のようなラベルの微細な差異や曇ったオブジェクト境界に起因しており、根本的なセグメンテーション誤りではない。
• インターフェースは大多数のオブジェクトに対して良好に機能するが、非常に不規則またはぼやけた領域（例：クリスマスの装飾、ぼやけたドア）では、伝統的なポリゴンベースのツールでさえも概ねの輪郭しか得られないため、困難を示す。