[論文レビュー] Learning Object Detection from Captions via Textual Scene Attributes

Achiya Jerbi, Roei Herzig+3 more|arXiv (Cornell University)|Sep 30, 2020

Multimodal Machine Learning Applications参考文献 51被引用数 6

ひとこと要約

本稿では、画像キャプションから抽出したテキスト的シーングラフを活用することで、検出精度を向上させる、新しい弱教師付きオブジェクト検出手法を提案する。視覚的オブジェクト検出器とテキスト的属性（例：'赤いラップトップ'）を一致させるためのエンタングルメント損失を導入することで、ボクセルボックスアノテーションを一切必要とせず、MS COCOおよびPascal VOC 2007で最先端の性能を達成した。

ABSTRACT

Object detection is a fundamental task in computer vision, requiring large annotated datasets that are difficult to collect, as annotators need to label objects and their bounding boxes. Thus, it is a significant challenge to use cheaper forms of supervision effectively. Recent work has begun to explore image captions as a source for weak supervision, but to date, in the context of object detection, captions have only been used to infer the categories of the objects in the image. In this work, we argue that captions contain much richer information about the image, including attributes of objects and their relations. Namely, the text represents a scene of the image, as described recently in the literature. We present a method that uses the attributes in this "textual scene graph" to train object detectors. We empirically demonstrate that the resulting model achieves state-of-the-art results on several challenging object detection datasets, outperforming recent approaches.

研究の動機と目的

• ボクセルボックスアノテーションが利用できない弱教師付きオブジェクト検出（WSOD）の課題に対処するため、単なるオブジェクトラベルを越えた、より豊かな情報を持つ画像キャプションを活用すること。
• キャプションに記述された色、形状、空間的関係などのテキスト的シーン属性を活用することで、オブジェクトの局所化を支援し、検出性能を向上させること。
• 予測された視覚的属性とキャプションに記述された属性との一貫性を強制する新しい学習目的を開発し、シーンレベルの理解を強化すること。
• オブジェクトラベル抽出に依存する手法と比較して、属性レベルの監視が、追加の学習データがなくても顕著に優れた性能を発揮できることを示すこと。

提案手法

• 事前学習済みのテキスト→シーングラフ（SG）モデルを用いて、画像キャプションからテキスト的シーングラフ（SG）を抽出し、オブジェクト、その属性、関係を捉える。
• 予測された視覚的オブジェクト特徴が、キャプションに記述された属性と一貫していることを強制する、新しいエンタングルメント損失を導入する。例：赤いオブジェクトは「赤」という属性に関連づけるべきである。
• 二本のブランチ構造を採用する：一方は画像特徴抽出とオブジェクト候補生成に、もう一方は同じ特徴から視覚的属性を予測するのに使用する。
• Faster R-CNNスタイルのバックボーンを用いてオブジェクト検出を実行し、トレーニング中にエンタングルメント損失を適用することで、視覚的予測とテキスト的属性を一致させる。
• Yeら（2019）と同様に、オブジェクトラベル抽出には正確な文字列一致を用いるが、局所化と分類の精度を向上させるためにSGベースのエンタングルメント損失を追加する。
• ボクセルボックスアノテーションを一切必要とせず、画像レベルのラベルとテキスト的記述のみを用いて、画像-キャプションペア上でエンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 画像キャプション内のテキスト的シーン属性は、単なるオブジェクトラベル監視を越えて、弱教師付きオブジェクト検出を効果的に向上させることができるか？
• RQ2 新しい損失関数によって、視覚的オブジェクト特徴とテキスト的属性の整合性を強制することで、検出精度が向上するか？
• RQ3 画像キャプションのみを監視として使用する場合、キャプションベースの検出モデルの性能は、完全に教師ありのベースラインと比べてどうなるか？
• RQ4 オブジェクトラベル抽出に依存する手法と比較して、属性レベルの監視が、偽ラベル品質の向上に特化した手法を上回ることができるか？

主な発見

• 提案されたEM + SG Lossモデルは、COCO Captionsで学習した場合、VOC 2007テストセットでmAP 45.9を達成し、真のCOCOラベルで学習した完全に教師ありのWSODモデルの46.3 mAPに非常に近い性能を発揮した。
• COCOテストデブセットでは、最先端のmAP@0.5:0.95を達成し、データセット間での一般化性能が顕著に優れていることが示された。
• Flickr30Kキャプションで学習しVOC 2007で評価した場合、追加の学習データがなくとも、EM + TextClsfベースラインと比較して性能差が4倍以上にまで拡大した。
• 属性分類器は副次的学習として得られたが、有意義な性能を示しており、トレーニング中に属性理解が効果的に捉えられていることが示唆された。
• アブレーションスタディにより、エンタングルメント損失が性能向上の主因であることが確認され、これを除去するとベースラインのExactMatchレベルまで性能が低下した。