[論文レビュー] Boosting Weakly Supervised Object Detection with Progressive Knowledge Transfer

Yuanyi Zhong, Jianfeng Wang+2 more|arXiv (Cornell University)|Jul 15, 2020

Advanced Neural Network Applications参考文献 37被引用数 6

ひとこと要約

本論文は、カテゴリが重複しない完全にアノテートされたソースデータセット（例：COCO や ImageNet）を活用して、反復的に弱教師付きオブジェクト検出を向上させるプログレッシブな知識移行フレームワークを提案する。ワンクラスのユニバーサル検出器を訓練し、複数の反復においてソースおよびターゲットドメインから抽出した疑似正例ボックスを用いてそれを精緻化することで、Pascal VOC 2007 で 59.7% の新しい最先端の mAP を達成した。また、抽出された疑似アノテーションを用いて再訓練した Faster R-CNN では 60.2% の mAP を達成した。

ABSTRACT

In this paper, we propose an effective knowledge transfer framework to boost the weakly supervised object detection accuracy with the help of an external fully-annotated source dataset, whose categories may not overlap with the target domain. This setting is of great practical value due to the existence of many off-the-shelf detection datasets. To more effectively utilize the source dataset, we propose to iteratively transfer the knowledge from the source domain by a one-class universal detector and learn the target-domain detector. The box-level pseudo ground truths mined by the target-domain detector in each iteration effectively improve the one-class universal detector. Therefore, the knowledge in the source dataset is more thoroughly exploited and leveraged. Extensive experiments are conducted with Pascal VOC 2007 as the target weakly-annotated dataset and COCO/ImageNet as the source fully-annotated dataset. With the proposed solution, we achieved an mAP of $59.7\%$ detection performance on the VOC test set and an mAP of $60.2\%$ after retraining a fully supervised Faster RCNN with the mined pseudo ground truths. This is significantly better than any previously known results in related literature and sets a new state-of-the-art of weakly supervised object detection under the knowledge transfer setting. Code: \url{https://github.com/mikuhatsune/wsod_transfer}.

研究の動機と目的

• 非重複カテゴリを持つ外部の完全アノテート済みデータセットを活用することで、完全教師ありと弱教師ありのオブジェクト検出器の性能差を埋める。
• ターゲットドメインのオブジェクトが背景として誤ってラベル付けされるなど、ソースデータセットにおけるラベルの不完全性問題に対処するため、反復的に検出知識を精緻化する。
• ワンステップの知識移行をプログレッシブで反復的な精緻化プロセスに置き換えることで、ユニバーサル検出器およびターゲットドメイン検出器の両方の知識移行効率を向上させる。
• ターゲットドメインからの反復的疑似ラベル付けが、ソースドメインのユニバーサル検出器の一般化性能および再現率を顕著に向上させることを示す。

提案手法

• 本手法は、ソースデータセット（例：COCO-60）を用いて訓練されたワンクラスのユニバーサル検出器（OCUD）を用い、ソースおよびターゲットの両方の画像でターゲットクラスのインスタンスを検出する。
• 各反復において、ターゲットドメインのMIL検出器が、ソースおよびターゲットの両方の画像に対してターゲットクラスの疑似正例ボックスを生成し、それらを再訓練に用いる。
• 反復的精緻化プロセスは、疑似ラベルを用いてターゲット検出器を更新し、新たに抽出された正例インスタンスでOCUDを改善するプロセスを交互に繰り返す。
• 疑似ラベルはソースおよびターゲットの両方のデータセットから抽出されるため、OCUDがターゲットドメインのオブジェクト特徴をより良く捉え、誤検出（偽陰性）を低減できる。
• 本フレームワークは二段階のトレーニングループを採用する：まず、ソースデータセット上でOCUDを訓練する。次に、ターゲット検出器が疑似ラベルを生成し、OCUDをファインチューニングする。このプロセスを複数回の反復で繰り返す。
• 最終的なモデルはターゲットデータセット（例：VOC 2007）で評価され、抽出された疑似ラベルは完全教師ありの Faster R-CNN の再訓練にも使用され、最先端の性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 カテゴリが非重複する完全アノテート済みソースデータセットから、反復的知識移行を実施することで、弱教師ありオブジェクト検出の性能を顕著に向上させることができるか？
• RQ2 ターゲットドメインからの疑似ラベルを用いてワンクラスのユニバーサル検出器をプログレッシブに精緻化することで、偽陰性を低減し、検出再現率を向上させることができるか？
• RQ3 ワンステップ移行と比較して、マルチステップ知識移行は、mAP の向上度およびソースデータのラベル不完全性に対するロバスト性において優れているか？
• RQ4 弱教師あり検出で顕著な性能向上を得るためには、最小でどの程度のソースデータ量が必要か？

主な発見

• 提案手法は、COCO-60 をソースデータセットとして用いた場合、Pascal VOC 2007 のテストセットで mAP 59.7% を達成し、この移行設定下で弱教師ありオブジェクト検出の新しい最先端性能を確立した。
• 抽出された疑似正例ボックスを用いて完全教師ありの Faster R-CNN を再訓練した結果、mAP 60.2% を達成し、元の ZF バックボーンを搭載した完全教師あり Faster R-CNN（mAP 59.9%）をも上回った。
• VOC 2007 において、ワンステップ移行の mAP 54.93% から、5回の反復による精緻化で mAP 59.71% に向上し、4.78 ポints の顕著な向上を示した。
• COCO-60-full（重複カテゴリは保持されているがアノテーションが削除された）という挑戦的なソースデータセットでさえも、mAP 55% を超える性能を達成しており、ラベル不完全性に対して高いロバスト性を示した。
• COCO-60 データセットのわずか 20%（学習用 4,396 枚、検証用 194 枚）のデータ量でも、mAP 58% を超える性能が達成可能であり、高いデータ効率性を示した。
• ILSVRC-179 をソースとして用いた場合、mAP 56.46% を達成し、COCO-60-full を上回ったが、COCO-60 には及ばなかった。これは、データ品質およびドメインの一貫性が重要な要因であることを示唆している。