[論文レビュー] The AAU Multimodal Annotation Toolboxes: Annotating Objects in Images and Videos

Chris Bahnsen, Andreas Møgelmose+1 more|arXiv (Cornell University)|Sep 10, 2018

Multimodal Machine Learning Applications参考文献 6被引用数 3

ひとこと要約

本稿では、画像および動画における効率的でマルチモーダル（RGBおよび赤外）オブジェクトアノテーションを目的とした、C++で作成されたオープンソースのアノテーションツールボックス2種——Bounding Box Annotator および Multimodal Pixel Annotator——を提示する。OpenCV および Qt を使用して構築されたこれらのツールは、ピクセルマスク、バウンディングボックス、分類タグ、固有のID、メタデータをサポートしており、GrabCutセグメンテーション、ポリゴン描画、don't-careボーダー、バッチフレームアノテーションなどの機能を備え、コンピュータビジョン研究において数万フレームにわたる効率的なアノテーションを可能にする。

ABSTRACT

This tech report gives an introduction to two annotation toolboxes that enable the creation of pixel and polygon-based masks as well as bounding boxes around objects of interest. Both toolboxes support the annotation of sequential images in the RGB and thermal modalities. Each annotated object is assigned a classification tag, a unique ID, and one or more optional meta data tags. The toolboxes are written in C++ with the OpenCV and Qt libraries and are operated by using the visual interface and the extensive range of keyboard shortcuts. Pre-built binaries are available for Windows and MacOS and the tools can be built from source under Linux as well. So far, tens of thousands of frames have been annotated using the toolboxes.

研究の動機と目的

• コンピュータビジョン研究における高品質でドメイン特化されたアノテーションデータセットの増加するニーズに対応すること。
• 順次的なRGBおよび赤外画像シーケンスにおけるオブジェクトアノテーションのための効率的でクロスプラットフォームなツールを提供すること。
• 多様なビジョンアプリケーションに対応するため、ピクセルマスク、バウンディングボックス、メタデータタグを含む柔軟なアノテーションフォーマットをサポートすること。
• キーボードショートカット、フレームの保持、バッチ処理を通じて、長期的なアノテーションワークフローを最適化すること。
• より強固なビジョンシステムのトレーニングを可能にするために、異なるイメージングモダリティ（可視光および赤外）間でのマルチモーダルアノテーションを可能にすること。

提案手法

• ツールは、GUI用のQtフレームワークと画像処理用のOpenCVを使用したC++で実装されており、Windows、macOS、Linuxのクロスプラットフォーム互換性を確保している。
• Bounding Box Annotator では、ユーザーが長方形のバウンディングボックスを描画し、各オブジェクトにクラスラベル、ID、メタデータタグを割り当てることができる。
• Multimodal Pixel Annotator は、GrabCut、手動ブラシ塗りつぶし、ポリゴンベースの輪郭描画を用いて、正確なマスク生成を可能にするピクセル単位のセグメンテーションをサポートしている。
• 両ツールは、「前/次のフレームを読み込む際に保持する」機能により、時間的整合性を確保し、隣接フレーム間でのアノテーション伝搬を可能にしている。
• 曇ったオブジェクト境界を処理するため、グレースケール値170のdon't-careボーダーがサポートされており、設定からカスタマイズ可能である。
• アノテーションは1つのCSVファイル（画像パスとメタデータを含む）に保存され、オプションでグレースケールマスク画像としても保存可能で、COCOおよびバウンディングボックスフォーマットへのエクスポート機能も備えている。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、画像シーケンスにおけるマルチモーダル（RGBおよび赤外）オブジェクトアノテーションを効率的にサポートするアノテーションツールを設計できるか？
• RQ2 どのような機能が、大規模データセットにおけるアノテーション時間の短縮と一貫性の向上に最も効果的か？
• RQ3 どのようにして、統合的かつ拡張可能なツールフレームワーク内で、ピクセルレベルのセグメンテーションとバウンディングボックスアノテーションを統合できるか？
• RQ4 GrabCut や手動ブラシといったインタラクティブツールが、複雑なオブジェクト境界におけるセグメンテーション品質の向上に果たす役割は何か？
• RQ5 メタデータタグやオブジェクトトラッキング状態（例：「最終フレーム到達」）は、下流のビジョンタスクにおけるアノテーションデータの有用性をどのように向上させるか？

主な発見

• これらのアノテーションツールボックスは、人間、道路利用者、動物、産業欠陊など多様なドメインにおいて、数万フレームにわたる画像フレームのアノテーションに使用された。
• これらのツールはマルチモーダルアノテーションをサポートしており、RGBおよび赤外画像シーケンス間で一貫したラベリングを可能にし、ビジョンシステムの耐障害性を向上させた。
• GrabCut、手動ブラシ、ポリゴンツールの統合により、反復的リファインメントを伴う柔軟で正確なピクセル単位のセグメンテーションが可能になった。
• 固有のID、分類タグ、カスタマイズ可能なメタデータタグの使用により、構造的で検索可能かつ再利用可能なアノテーションデータが実現された。
• フレーム保持および補間機能を備えたフレーム単位の効率的アノテーションにより、動画シーケンスにおける繰り返し作業が顕著に削減された。
• COCOおよびバウンディングボックスフォーマットへのエクスポート機能により、主要なディープラーニングフレームワークおよびベンチマークパイプラインとの互換性が確保された。