[論文レビュー] Cross-Domain Weakly-Supervised Object Detection through Progressive Domain Adaptation

Naoto Inoue, Ryosuke Furuta+2 more|arXiv (Cornell University)|Mar 30, 2018

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、ドメイン変換（CycleGANベースの画像翻訳）と偽ラベル化を活用して、ターゲットドメインにおける画像ラベルから合成されたインスタンスレベルのアノテーションを生成することで、クロスドメインの弱教師付きオブジェクト検出のための2段階プログレッシブなドメイン適応フレームワークを提案する。この手法は、3つの新しいデータセット（Clipart1k、Watercolor2k、Comic2k）においてベースライン比で5–20パcentポイントのmAP向上を達成し、人為的アノテーションを最小限に抑えた状態で、多様な視覚的ドメインに強く一般化できることを示している。

ABSTRACT

Can we detect common objects in a variety of image domains without instance-level annotations? In this paper, we present a framework for a novel task, cross-domain weakly supervised object detection, which addresses this question. For this paper, we have access to images with instance-level annotations in a source domain (e.g., natural image) and images with image-level annotations in a target domain (e.g., watercolor). In addition, the classes to be detected in the target domain are all or a subset of those in the source domain. Starting from a fully supervised object detector, which is pre-trained on the source domain, we propose a two-step progressive domain adaptation technique by fine-tuning the detector on two types of artificially and automatically generated samples. We test our methods on our newly collected datasets containing three image domains, and achieve an improvement of approximately 5 to 20 percentage points in terms of mean average precision (mAP) compared to the best-performing baselines.

研究の動機と目的

• インスタンスレベルのアノテーションが存在しないターゲット画像ドメイン（例：ウォーターカラー、コミック）でオブジェクトを検出する課題に対処すること。
• 豊富なインスタンスレベルのアノテーションを持つソースドメインから、画像ラベルのみのターゲットドメインへ効果的なドメイン適応を可能にすること。
• 新しいドメインにおける高コストな人為的バウンディングボックスに依存しないスケーラブルで汎用性の高いフレームワークを開発すること。
• 非自然な画像ドメインにおける完全にアノテートされたインスタンスを含む新しいベンチマークデータセットを構築し、評価に用いること。

提案手法

• ソースドメインのインスタンスレベルアノテーション付き画像から、CycleGANベースのドメイン変換（DT）を用いてターゲットドメインの合成画像を生成する。
• DTで生成された画像に対して微調整された検出器を適用し、ターゲットドメインの画像ラベル付き画像に対して偽バウンディングボックスを生成する。
• 画像ラベルとモデル予測を組み合わせて、偽ラベル化（PL）を実行し、ターゲットドメインにおける偽インスタンスレベルアノテーションを生成する。
• 2段階プログレッシブなドメイン適応を実装する：まずDTで生成されたデータで微調整し、次にPLで生成されたデータでさらに微調整して検出性能を向上させる。
• 外部ソース（例：BAM! データセット）からの追加のノイズを含む画像ラベルを活用して、性能をさらに向上させる。
• 標準的な弱教師付き学習の目的関数を用いて検出器を訓練し、ドメイン適応による反復的改善を実現する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルアノテーション付きソースドメインから、検出器の微調整に適したリアルなターゲットドメイン画像を生成できるか？
• RQ2 画像ラベルとモデル予測を用いた偽ラベル化により、ターゲットドメインで信頼性の高い合成インスタンスレベルアノテーションを効果的に生成できるか？
• RQ3 順次的で2段階のプログレッシブなドメイン適応（DTの次にPL）は、1段階の適応やベースライン手法よりも、クロスドメイン弱教師付きオブジェクト検出で優れた性能を示すか？
• RQ4 外部ソースからのノイズを含む大規模な画像ラベルは、人為的アノテーションなしでどの程度検出性能を向上させられるか？

主な発見

• 提案手法のDT+PLは、すべての3つのデータセット（Clipart1k、Watercolor2k、Comic2k）において、最も性能の高かったベースライン比で平均平均精度（mAP）が約5～20パーセンテージポイント向上した。
• Watercolor2kデータセットでは、BAM! からのノイズを含む画像ラベルを追加した+extraバージョンが、1,000件のクリーンなインスタンスレベルアノテーションで学習した理想ケースを上回る性能を示し、大規模でノイズを含むデータの価値を裏付けた。
• 誤差解析の結果、DTは特に信頼度が低い予測において検出性能を向上させた一方、PLは信頼度が高い検出における誤分類および局所化誤差を顕著に低減した。
• 定性的な結果から、CycleGANがスタイルとテクスチャを適切に転送しながらも、意味的構造を保持していることが確認され、効果的なドメイン適応が可能であることが示された。
• このフレームワークは、クリッパー卜、ウォーターカラー、コミックなど多様な視覚的ドメインで強力な性能を発揮した。これは、自然画像にとどまらず、より広範なドメインに一般化可能であることを示している。