[論文レビュー] ImaginaryNet: Learning Object Detectors without Real Images and Annotations

Minheng Ni, Zitong Huang+2 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

この論文では、実際の画像やアノテーションを一切使用せずに、合成された画像とテキスト記述のみを用いてオブジェクト検出器を訓練するフレームワーク、ImaginaryNetを提案する。事前学習済みの言語モデルとテキストから画像を生成するモデルを組み合わせることで、クラスラベルを伴う多様でリアルな画像を生成し、弱教師ありオブジェクト検出を可能にする。この手法は、実データで訓練された弱教師あり検出器の性能のおよそ70％を達成する。

ABSTRACT

Without the demand of training in reality, humans can easily detect a known concept simply based on its language description. Empowering deep learning with this ability undoubtedly enables the neural network to handle complex vision tasks, e.g., object detection, without collecting and annotating real images. To this end, this paper introduces a novel challenging learning paradigm Imaginary-Supervised Object Detection (ISOD), where neither real images nor manual annotations are allowed for training object detectors. To resolve this challenge, we propose ImaginaryNet, a framework to synthesize images by combining pretrained language model and text-to-image synthesis model. Given a class label, the language model is used to generate a full description of a scene with a target object, and the text-to-image model deployed to generate a photo-realistic image. With the synthesized images and class labels, weakly supervised object detection can then be leveraged to accomplish ISOD. By gradually introducing real images and manual annotations, ImaginaryNet can collaborate with other supervision settings to further boost detection performance. Experiments show that ImaginaryNet can (i) obtain about 70% performance in ISOD compared with the weakly supervised counterpart of the same backbone trained on real data, (ii) significantly improve the baseline while achieving state-of-the-art or comparable performance by incorporating ImaginaryNet with other supervision settings.

研究の動機と目的

• 実際の画像や手動によるアノテーションを一切使用しない新しい学習パラダイム、想像的教師ありオブジェクト検出（ISOD）の開発を目的とする。
• オブジェクト検出における実世界のアノテート済みデータの高コストと希少性に対処するため、事前学習済みのビジョン・ランゲージモデルを活用して訓練データを合成する。
• 言語モデルと画像拡散モデルを用いてテキスト記述から生成された合成画像が、弱教師ありの設定で効果的にオブジェクト検出器を訓練できることを示す。
• 実データや他の教師あり設定と組み合わせた場合に、想像的データが検出性能を向上させる可能性を検証する。
• ISODのベンチマークを確立し、言語モデリングとデータ拡張が合成データの性能に与える影響を評価する。

提案手法

• ターゲットオブジェクトクラスを含む詳細で多様なシーン記述を、事前学習済みの言語モデルを用いて生成する。
• テキストから画像を生成する拡散モデルを用いて、言語モデルが生成した記述から写真のようにリアルな画像を生成する。
• 生成された画像とその関連するクラスラベルを、弱教師ありの訓練データとして使用する。
• ボックスレベルのアノテーションを避けて、合成データ上で弱教師ありオブジェクト検出（WSOD）アルゴリズムを用いてオブジェクト検出器を訓練する。
• 段階的に実画像とアノテーションを組み込むことで、既存の教師あり設定と互換性があることを示す。
• 訓練および推論時にデータ拡張戦略を適用し、ImaginaryNetが標準的な拡張技術と直交していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 テキスト記述と事前学習モデルのみを用いて、実際の画像や手動アノテーションを一切使用せずにオブジェクト検出器を効果的に訓練できるか？
• RQ2 実データに画像レベルのラベルが付与されたものと比較して、合成画像で訓練されたオブジェクト検出器の性能はどの程度効果的か？
• RQ3 言語モデルが合成画像の多様性と品質、およびその後の検出器性能にどの程度寄与しているか？
• RQ4 実データ向けに設計されたデータ拡張戦略が、フレームワークによって生成された合成画像に対しても効果的に適用できるか？
• RQ5 ImaginaryNetは、実データや他の教師ありパラダイムと組み合わせることで、さらなる検出精度の向上が可能か？

主な発見

• ImaginaryNetは、同じバックボーンを用いて実データで訓練された弱教師ありオブジェクト検出器の平均平均精度（mAP）のおよそ70％を達成する。
• 言語モデルの導入により検出性能が顕著に向上し、PASCAL VOC 2007では言語モデルなしでmAP 31.02、ありでmAP 33.23に向上した。
• 訓練および推論時の両方のデータ拡張戦略を適用することで性能が向上し、mAPは79.92から82.70に上昇した。これは、標準的な拡張技術と直交していることを示している。
• わずか2,000枚の想像的サンプルのみで、ImaginaryNetはmAP 29.33を達成し、低データ環境下でも合成データの有効性を示している。
• 実データの教師あり設定と強い相性を示しており、実画像とアノテーションを組み合わせることでベースライン性能を顕著に向上させ、最先端または競争力のある結果を達成した。
• クラスごとの性能のばらつきは、一貫性があり検出器に適した画像を生成する課題を示しており、特に言語モデルが現実的でないシーン記述を生成する場合に顕著である。