[論文レビュー] Active learning with MaskAL reduces annotation effort for training Mask R-CNN

Pieter M. Blok, Gert Kootstra+4 more|arXiv (Cornell University)|Dec 13, 2021

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文では、アノテーション作業を削減するためのアクティブラーニング手法であるMaskALを提案する。未ラベルデータから最も不確実な（分類が難しい）インスタンスを反復的に選択することで、Mask R-CNNの学習に必要なアノテーション作業を削減する。完全なデータセットを用いたMask R-CNNの性能の93.9%を、学習データの17.9%（2,500枚）で達成しており、ランダムサンプリングと比較して優れている。ランダムサンプリングは900枚でMaskALの性能を達成するには2,300枚が必要だった。

ABSTRACT

The generalisation performance of a convolutional neural network (CNN) is influenced by the quantity, quality, and variety of the training images. Training images must be annotated, and this is time consuming and expensive. The goal of our work was to reduce the number of annotated images needed to train a CNN while maintaining its performance. We hypothesised that the performance of a CNN can be improved faster by ensuring that the set of training images contains a large fraction of hard-to-classify images. The objective of our study was to test this hypothesis with an active learning method that can automatically select the hard-to-classify images. We developed an active learning method for Mask Region-based CNN (Mask R-CNN) and named this method MaskAL. MaskAL involved the iterative training of Mask R-CNN, after which the trained model was used to select a set of unlabelled images about which the model was most uncertain. The selected images were then annotated and used to retrain Mask R-CNN, and this was repeated for a number of sampling iterations. In our study, MaskAL was compared to a random sampling method on a broccoli dataset with five visually similar classes. MaskAL performed significantly better than the random sampling. In addition, MaskAL had the same performance after sampling 900 images as the random sampling had after 2300 images. Compared to a Mask R-CNN model that was trained on the entire training set (14,000 images), MaskAL achieved 93.9% of that model's performance with 17.9% of its training data. The random sampling achieved 81.9% of that model's performance with 16.4% of its training data. We conclude that by using MaskAL, the annotation effort can be reduced for training Mask R-CNN on a broccoli dataset with visually similar classes. Our software is available on https://github.com/pieterblok/maskal.

研究の動機と目的

• Mask R-CNNを訓練する際に必要なアノテーション作業を削減しながら、モデル性能を損なわないようにすること。
• 農業分野におけるインスタンスセグメンテーションデータのアノテーションにかかる高コストと時間消費を軽減すること。
• 分類が難しい（不確実な）サンプルを選択することで、モデルの収束が早まるという仮説を検証すること。
• インスタンスセグメンテーションに特化したアクティブラーニングフレームワークを構築・評価すること。
• 不確実性に基づくサンプリングが、データ効率の良い学習においてランダムサンプリングを上回ることを実証すること。

提案手法

• 徐々に増加するラベル付き画像のプールに対して、Mask R-CNNを反復的に訓練する。
• 訓練済みモデルを用いて未ラベル画像のセグメンテーションマスクを予測し、予測の信頼度に基づいて不確実性スコアを計算する。
• 最も不確実性が高く（信頼度が低い）未ラベル画像を人間によるアノテーションのために選択する。
• 選択された画像をアノテートし、拡張されたデータセットで再びMask R-CNNモデルを訓練する。
• 複数のサンプリングイテレーションを繰り返し、モデル性能を段階的に向上させる。
• モデルの予測されたマスク品質に基づく信頼度しきい値を用いて、不確実なサンプルを特定する。

実験結果

リサーチクエスチョン

• RQ1 モデルの不確実性に基づくアクティブラーニングは、Mask R-CNNモデルを訓練するためのラベル付き画像の数を削減できるか？
• RQ2 分類が難しいインスタンスを選択することで、ランダムサンプリングと比較して収束が速くなり、性能が向上するか？
• RQ3 MaskALで訓練されたMask R-CNNモデルの性能は、完全データセットで訓練されたモデルと比べてどの程度か？
• RQ4 視覚的に複雑な農業分野のデータセットにおいて、MaskALはランダムサンプリングに比べてどの程度のデータ効率の向上を達成できるか？
• RQ5 不確実性に基づくサンプリングは、顕著に少ないアノテーションで高い性能を維持できるか？

主な発見

• MaskALは、完全データセット（14,000枚）で訓練されたMask R-CNNの性能の93.9%を、データの17.9%（2,500枚）で達成した。
• ランダムサンプリングのベースラインは、MaskALが900枚で達成した性能に到達するには2,300枚の画像が必要だった。
• MaskALは、学習の各段階でランダムサンプリングよりも高い平均平均精度（mAP）を達成した。
• MaskALの性能向上は、特に初期学習段階で顕著で、情報量の多いサンプルからの学習が速いことを示している。
• この手法により、視覚的に類似した5つのクラスを含むブロッコリー画像データセットにおいて、顕著なアノテーション作業の削減が実現したが、高いセグメンテーション精度を維持した。
• MaskALのソースコードはGitHubで公開されており、再現性とさらなる研究を可能にしている。