[論文レビュー] LOST: A flexible framework for semi-automatic image annotation

Jonas Jäger, Gereon Reus+3 more|arXiv (Cornell University)|Oct 16, 2019

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 4

ひとこと要約

LOST は、複数のツールや機械学習モデルを組み合わせたカスタマイズ可能なアノテーションパイプラインを設計・実行できる、柔軟でオープンソースのフレームワークである。オブジェクト検出の提案とクラスタリングベースのラベル割り当てを統合することで、アノテーション時間を最大で2倍短縮し、繰り返しの改善においても高いアノテーション品質（mAP ~80%）を維持する。繰り返しの改善を経る中で、単一段階のアノテーションに比べて優れた性能を発揮する。

ABSTRACT

State-of-the-art computer vision approaches rely on huge amounts of annotated data. The collection of such data is a time consuming process since it is mainly performed by humans. The literature shows that semi-automatic annotation approaches can significantly speed up the annotation process by the automatic generation of annotation proposals to support the annotator. In this paper we present a framework that allows for a quick and flexible design of semi-automatic annotation pipelines. We show that a good design of the process will speed up the collection of annotations. Our contribution is a new approach to image annotation that allows for the combination of different annotation tools and machine learning algorithms in one process. We further present potential applications of our approach. The source code of our framework called LOST (Label Objects and Save Time) is available at: https://github.com/l3p-cv/lost.

研究の動機と目的

• コンピュータビジョン分野における手作業による画像アノテーションの高コスト問題に対処すること。
• 多様なアノテーションツールと機械学習モデルを組み合わせた柔軟で合成可能なワークフローを可能にすること。
• タスクを単純な段階と専門家による段階に分割することで、専門家によるアノテーション時間の短縮を図ること。
• 時間経過とともにモデルを改善する反復的で自己改善型のアノテーションパイプラインをサポートすること。
• スケーラブルで共同作業が可能なデータセット作成を可能にする再利用可能でオープンソースのフレームワークを提供すること。

提案手法

• LOST は、モジュラーなコンponentsを備えたウェブベースのインターフェースを用いて、設定可能なパイプラインとしてアノテーションをモデル化する。
• 境界ボックスとクラスの提案を生成するために、オブジェクト検出（RetinaNet）と特徴埋め込み（ResNet50）を統合する。
• 二段階のループを用いる：第一段階では境界ボックスが提案され描画され、第二段階では MIA（マルチイメージアノテーション）インターフェースを介してボックスのクラスタがラベル付けされる。
• 各ループ反復後に新たにアノテートされたデータでモデル（RetinaNet、ResNet50）を微調整することで、反復的改善をサポートする。
• 完全なパイプライン論理とデータフローの制御が可能なカスタムPythonスクリプトの統合を可能にする。
• Dockerを介したローカルデプロイまたはクラウドベースの共同プラットフォームとしての展開をサポートする。

実験結果

リサーチクエスチョン

• RQ1 柔軟で合成可能なフレームワークは、高品質なラベルを維持しつつアノテーション時間を短縮できるか？
• RQ2 反復的でモデルガイドドのアノテーションは、単一段階の手作業アノテーションと比較して、時間的・精度的側面で優れているか？
• RQ3 クラスタリングとバッチアノテーション（MIAを介して）によって、専門家によるアノテーション作業の負荷はどの程度軽減できるか？
• RQ4 フィードバックループを備えた自己改善型パイプラインは、時間経過とともにアノテーション品質を維持または向上できるか？
• RQ5 単純な作業（提案の確認）と専門家による作業（ラベル割り当て）に作業を分離することで、どの程度の効果が得られるか？

主な発見

• ループ型の二段階アノテーションアプローチにより、後続の反復において、単一段階アノテーションと比較して、ボックス1つあたりの平均アノテーション時間が2倍短縮された。
• アノテーション品質は約80%のmAPで安定しており、標準偏差4.3%の変動を示し、アノテーターの注視度と画像の難易度に起因する。
• RetinaNetの検出性能は反復を経るごとに向上し、Pascal VOC 2007でmAP 58%に達した。これは完全に教師ありモデルの66% mAPに近づいた。
• MIAインターフェースによりクラスタレベルでのラベル割り当てが可能となり、ボックス単位のラベル付けと比較して、クラスラベル付けの時間を最大50%短縮した。
• フレームワークにより、単純なボックスの描画と専門家によるラベル割り当ての作業分離が効果的に実現され、専門家時間への依存度が低下した。
• モデルの学習を休憩時間（例：夜間）に実行することで、実際の計算負荷はほとんど無視できるレベルにまで低下した。