[論文レビュー] Learning Intelligent Dialogs for Bounding Box Annotation

Ksenia Konyushkova, Jasper Uijlings+2 more|arXiv (Cornell University)|Dec 21, 2017

Multimodal Machine Learning Applications参考文献 48被引用数 8

ひとこと要約

本稿では、境界ボックスラベリングのための注釈時間の最小化を目的に、ボックス検証と手動描画の間で動的に切り替える適応型エージェントであるインテリジェント注釈ダイアログ（IAD）を紹介する。確率的予測や強化学習を用いることで、IADは固定戦略を上回り、検出器の性能、画像の難易度、品質要件の違いに関わらず注釈を高速化する。また、検出器の性能向上に伴い最適戦略を段階的に進化させる。

ABSTRACT

We introduce Intelligent Annotation Dialogs for bounding box annotation. We train an agent to automatically choose a sequence of actions for a human annotator to produce a bounding box in a minimal amount of time. Specifically, we consider two actions: box verification, where the annotator verifies a box generated by an object detector, and manual box drawing. We explore two kinds of agents, one based on predicting the probability that a box will be positively verified, and the other based on reinforcement learning. We demonstrate that (1) our agents are able to learn efficient annotation strategies in several scenarios, automatically adapting to the image difficulty, the desired quality of the boxes, and the detector strength; (2) in all scenarios the resulting annotation dialogs speed up annotation compared to manual box drawing alone and box verification alone, while also outperforming any fixed combination of verification and drawing in most scenarios; (3) in a realistic scenario where the detector is iteratively re-trained, our agents evolve a series of strategies that reflect the shifting trade-off between verification and drawing as the detector grows stronger.

研究の動機と目的

• 物体検出データセットにおける手動境界ボックス注釈の高コストを低減すること。
• 純粋な検証や手動描画といった固定戦略の限界を克服し、画像の難易度、検出器の品質、必要なボックスの精度に応じて動的に適応すること。
• 注釈時間の最小化と高品質な境界ボックスの維持を両立する最適なアクションシーケンス（検証／描画）を学習する知能型エージェントを開発すること。
• 検出器の性能が時間経過とともに向上する反復的トレーニングの現実的状況でエージェントを評価すること。
• 固定ヒューリスティクスとは異なり、検出器の改善に応じて動的戦略が進化することを示すこと。

提案手法

• IADエージェントは、画像特徴量と検出器出力をもとに、アクション（ボックス検証または手動描画）を選択し、問題の性質に応じた注釈時間を関数としてモデル化する。
• 一つの手法では、ボックス提案が肯定的に検証される確率を予測し、期待時間の最小化に寄与するようにアクション選択を導く。
• もう一つの手法では、試行錯誤の相互作用を通じて注釈時間の最小化を直接最適化する強化学習を用いる。
• システムは、PASCAL VOC 2007で、異なる検出器の強さ、望ましいボックス品質レベル、および手動描画インターフェース（7秒／ボックス法を含む）を用いて評価された。
• 反復的トレーニングでは、新規に注釈されたデータで検出器を再トレーニングし、IADエージェントは進化する検出器性能に応じて戦略を適応させる。
• エージェントは、以前の注釈エピソードで収集したデータを用いて学習され、交差検証済みボックス（IoU ≥ 0.7）と手動描画ボックスの両方を用いる。

実験結果

リサーチクエスチョン

• RQ1 知能型エージェントは、注釈時間の最小化を目的に、ボックス検証と手動描画の間で動的に切り替える能力を学習できるか？
• RQ2 検出器の強さや画像の難易度が異なる状況下で、IADエージェントの性能は固定戦略（例：純粋な検証または純粋な描画）を上回るか？
• RQ3 反復的再トレーニングを通じて検出器の性能が向上するに従い、IADエージェントはその戦略を適応的に変化させられるか？
• RQ4 検出器の品質や望ましいボックスのタイトネスの変化に応じて、エージェントの戦略は有意義に進化するか？
• RQ5 時間効率の観点から、検証と描画のトレードオフは何か？エージェントはその最適化を学習できるか？

主な発見

• IADは、すべてのテストシナリオにおいて、単独での手動描画や単独での検証と比較して、注釈時間を顕著に短縮した。
• IADは、検証と描画の固定組み合わせよりも多くのシナリオで優れた性能を示し、動的戦略選択の利点を実証した。
• 反復的再トレーニングの設定では、初期段階で検出器が弱いために主に手動描画に依存していたIADの戦略が、検出器性能の向上に伴い、次第に検証に依存する方向に進化した。
• IADを用いた場合、平均的なボックスあたりの注釈時間は時間経過とともに減少したが、固定の検証のみ戦略（V-hor）では、未処理の難易度の高い例が残るため、時間経過とともに増加した。
• IADで注釈されたボックスを用いてトレーニングされた最終的な検出器は、グランドトゥルースボックスを用いた検出器のmAPの98％を達成し、高品質な出力を示した。
• 注釈済みボックスのうち56％が検証され、44％が手動描画されたが、検証されたボックスは83％のmIoUを達成し、グランドトゥルースと強い一致を示した。