[論文レビュー] Block Annotation: Better Image Annotation for Semantic Segmentation with Sub-Image Decomposition

Hubert Lin, Paul Upchurch+1 more|arXiv (Cornell University)|Feb 16, 2020

Advanced Neural Network Applications参考文献 63被引用数 4

ひとこと要約

本稿では、画像全体のラベリングではなく、小さな画像部分領域（ブロック）をクラウドソーシングすることで、セマンティックセグメンテーションの性能を、ラベル付きピクセル数が50%に抑えられても同等の性能を達成する『ブロックアノテーション』を提案する。12%のラベル付きピクセルで、最大98%のフルパフォーマンスを達成する。追加の人的作業なしに、高品質なインpainting手法により、完全な画像ラベルを回復可能であり、コスト効率が高く、スケーラブルで、高精度な密分割が実現可能である。

ABSTRACT

Image datasets with high-quality pixel-level annotations are valuable for semantic segmentation: labelling every pixel in an image ensures that rare classes and small objects are annotated. However, full-image annotations are expensive, with experts spending up to 90 minutes per image. We propose block sub-image annotation as a replacement for full-image annotation. Despite the attention cost of frequent task switching, we find that block annotations can be crowdsourced at higher quality compared to full-image annotation with equal monetary cost using existing annotation tools developed for full-image annotation. Surprisingly, we find that 50% pixels annotated with blocks allows semantic segmentation to achieve equivalent performance to 100% pixels annotated. Furthermore, as little as 12% of pixels annotated allows performance as high as 98% of the performance with dense annotation. In weakly-supervised settings, block annotation outperforms existing methods by 3-4% (absolute) given equivalent annotation time. To recover the necessary global structure for applications such as characterizing spatial context and affordance relationships, we propose an effective method to inpaint block-annotated images with high-quality labels without additional human effort. As such, fewer annotations can also be used for these applications compared to full-image annotation.

研究の動機と目的

• セマンティックセグメンテーションのための高品質なピクセル単位ラベリングにかかるコストと時間を削減すること。
• 疎らでブロック単位のアノテーションが、密な画像全体のラベリングと同等の性能を達成できるかどうかを検討すること。
• 追加の人為的ラベリングなしに、ブロックアノテーション画像から高品質な完全なセグメンテーションマップにインpaintingする有効な手法を開発すること。
• 弱い教師あり設定におけるブロックアノテーションの評価を行い、同等のラベリング時間下での既存手法と比較すること。
• インpainting品質とラベリング効率を最大化する最適なブロックパターンと選択戦略を調査すること。

提案手法

• 本手法は、小さな非重複部分画像ブロック（例：10×10ピクセル）をラベリング単位として用い、画像全体のピクセル単位ラベリングに代わる。
• クラウドワーカーは、既存のポリゴンまたは境界線ツールを用いてこれらの部分画像ブロックをラベリングし、スケーラブルで低コストなデータ収集を実現する。
• 深層学習ベースのインpaintingモデルが、空間的コンテキストと境界線の手がかりを活用して、疎らなブロックアノテーションから完全な画像セグメンテーションマスクを予測する。
• インpaintingモデルは、多様なブロックパターンに一般化できるように訓練され、異なるラベリング疎らさとブロック構成での評価が行われる。
• ランダム、チェッカーボード、境界線専用など、異なるブロック選択戦略をテストし、インpainting性能に最適なヒントパターンを同定する。
• 不確実性推定を活用して、信頼度の低い予測をフィルタリングすることで、ラベルの信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ブロックアノテーションは、ラベルコストを大幅に削減しつつ、フル画像アノテーションと同等のセマンティックセグメンテーション性能を達成できるか？
• RQ2 アノテーション密度の増加（例：12%、50%、100%）に伴い、ブロックアノテーションモデルの性能はどのようにスケーリングするか？
• RQ3 追加の人為的ラベリングなしに、深層学習モデルが疎らなブロックアノテーションから完全な画像セグメンテーションマスクを効果的にインpaintingできるか？
• RQ4 異なるブロック選択パターン（例：チェッカーボード、ランダム、境界線専用）は、インpaintされたセグメンテーションマスクの品質にどのように影響するか？
• RQ5 同等のラベリング時間下で、ブロックアノテーションは既存の弱い教師あり手法と比較して、性能とラベリング時間効率の両面で優れているか？

主な発見

• ブロックアノテーションは、ラベル付きピクセル数が50%に抑えられても、フル画像アノテーションと同等のセマンティックセグメンテーション性能を達成する。
• ブロックによるラベル付きピクセルが12%に抑えられても、密ラベリングの98%の性能を達成する。
• 弱い教師あり設定では、同等のラベリング時間下で、既存手法を3-4%のmIOU絶対値で上回る。
• Cityscapesデータセットにおいて、Block-50%アノテーションで92%のmIOUを達成したが、自動セグメンテーションでは78%にとどまる。
• チェッカーボードパターンは、ランダムパターンを上回り、理想的な「交互に1ピクセルごと」のパターンと比較して95%の相対mIOUを達成する。
• ブロック境界から10ピクセル以内のピクセルのみをラベリングしても、完全なブロックアノテーションとほぼ同等の性能が得られ、境界ピクセルがインpaintingに最も有用であることが示された。