[論文レビュー] Beyond Generation: Harnessing Text to Image Models for Object Detection and Segmentation
本論文では、Stable Diffusion などのテキストto画像拡散モデルを用いて、オブジェクト検出およびインスタンスセグメンテーションのための高品質で完全にアノテーションされた訓練データを生成する新しい手法を提案する。前景オブジェクトの生成と文脈的に整合性のある背景の合成を分離し、ドメインギャップを埋めるために言語レベルの干渉を適用することで、本手法は実データで訓練した場合と同等の検出性能を達成し、実データと組み合わせるとそれを上回る性能を示す。
We propose a new paradigm to automatically generate training data with accurate labels at scale using the text-to-image synthesis frameworks (e.g., DALL-E, Stable Diffusion, etc.). The proposed approach1 decouples training data generation into foreground object generation, and contextually coherent background generation. To generate foreground objects, we employ a straightforward textual template, incorporating the object class name as input prompts. This is fed into a text-to-image synthesis framework, producing various foreground images set against isolated backgrounds. A foreground-background segmentation algorithm is then used to generate foreground object masks. To generate context images, we begin by creating language descriptions of the context. This is achieved by applying an image captioning method to a small set of images representing the desired context. These textual descriptions are then transformed into a diverse array of context images via a text-to-image synthesis framework. Subsequently, we composite these with the foreground object masks produced in the initial step, utilizing a cut-and-paste method, to formulate the training data. We demonstrate the advantages of our approach on five object detection and segmentation datasets, including Pascal VOC and COCO. We found that detectors trained solely on synthetic data produced by our method achieve performance comparable to those trained on real data (Fig. 1). Moreover, a combination of real and synthetic data yields even much better results. Further analysis indicates that the synthetic data distribution complements the real data distribution effectively. Additionally, we emphasize the compositional nature of our data generation approach in out-of-distribution and zero-shot data generation scenarios. We open-source our code at https://github.com/gyhandy/Text2Image-for-Detection
研究の動機と目的
- オブジェクト検出およびセグメンテーションのための人的ラベル付け済みデータセットの高コストとスケーラビリティの制限に対処する。
- 最小限の人的介入でゼロショットおよび分布外データ生成を可能にする。
- テキストto画像モデルの構成的および意味的理解を活用して、正確なバウンディングボックスとセグメンテーションマスクを伴うスケーラブルで高精細なデータ合成を実現する。
- 高価な現実世界のアノテーションに依存するのを減らしながら、モデル性能を維持または向上させる。
- 本パイプラインで生成された合成データが、強力な検出器の訓練において現実データを効果的に補完または置き換えられることを示す。
提案手法
- 前向きオブジェクトの生成には、単純なテキストテンプレート（例：'A [class]'）をテキストto画像モデルに供給し、空白の背景上に分離されたオブジェクト画像を生成する。
- 生成されたオブジェクト画像に事前学習済みのインスタンスセグメンテーションモデルを適用することで、前向きマスクを抽出する。
- 文脈的な背景の合成は、まず1つのドメイン内画像から多様で記述的なキャプションを画像キャプションモデルを用いて生成することで行う。
- 得られたキャプションを、テキストto画像モデルのプロンプトとして使用し、文脈的に整合性のある多様な背景画像を生成する。
- カットアンドペースト技術を用いて、前向きマスクを生成された背景に合成し、正確なインスタンスレベルのアノテーションを伴う完全で現実的な訓練画像を形成する。
- ドメインシフトを低減し、合成データの分布を実際のテストデータの分布に一致させるために、言語レベルの干渉（例：'cartoon' を 'real' に置換）を適用する。
実験結果
リサーチクエスチョン
- RQ1テキストto画像モデルは、オブジェクト検出およびインスタンスセグメンテーションのための完全にアノテーションされた訓練データを効果的に再利用可能か？
- RQ2本手法で生成された合成データは、標準ベンチマークで実データで訓練した場合と同等の性能を達成できるか？
- RQ3本手法は、最小限の実データでゼロショットおよび分布外の設定においてどれほど効果的か？
- RQ4プロンプトへの言語レベルの変更は、合成データの分布と実際のテストデータの分布の一致を改善するか？
- RQ5合成データと実データを組み合わせることで、単独で使用した場合よりも性能向上が得られるか？
主な発見
- 本手法で生成された合成データのみで訓練された検出器は、COCO や Pascal VOC などの完全な実データセットで訓練した場合と同等の mAP スコアを達成する。
- 合成データと実データを組み合わせることで、COCO データセットにおいて実データのみで訓練した場合に比べて +22.5 mAP の性能向上が得られる。
- 本手法は強力なゼロショット一般化を示し、ターゲットクラスの実画像が存在しない状況でも、クラス名のみで有効な性能を達成する。
- 言語レベルの干渉（例：'cartoon' を 'real' に置換、'people' を削除）により、分布外設定で最大 10.2 mAP の性能向上が達成される。
- パイプラインの構成的性質により、T2I モデルの再トレーニングなしに効果的なデータ拡張およびドメイン適応が可能である。
- 本手法はプライバシーを守り、スケーラブルで人的関与が最小限であり、リソースが限られたおよび急速に変化するビジョンタスクに適している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。