[論文レビュー] Describing Natural Images Containing Novel Objects with Knowledge Guided Assitance

Aditya Mogadala, Umanga Bista+2 more|arXiv (Cornell University)|Oct 17, 2017

Image Retrieval and Classification Techniques参考文献 1被引用数 9

ひとこと要約

本稿では、知識ベース（KB）を用いて意味的アテンションと制約付き推論をガイドすることで、未知のオブジェクトの画像キャプションを向上させる二段階手法であるKnowledge Guided Assistance（KGA）を提案する。まず、視覚的オブジェクトをKBエンティティにリンクするマルチエンティティラベル画像分類器を訓練し、次にこれらのラベルをキャプション生成における外部アテンションおよび動的制約として使用する。これにより、MSCOCOなどのオフドメイン画像キャプションベンチマークで顕著な性能向上が達成された。

ABSTRACT

Images in the wild encapsulate rich knowledge about varied abstract concepts and cannot be sufficiently described with models built only using image-caption pairs containing selected objects. We propose to handle such a task with the guidance of a knowledge base that incorporate many abstract concepts. Our method is a two-step process where we first build a multi-entity-label image recognition model to predict abstract concepts as image labels and then leverage them in the second step as an external semantic attention and constrained inference in the caption generation model for describing images that depict unseen/novel objects. Evaluations show that our models outperform most of the prior work for out-of-domain captioning on MSCOCO and are useful for integration of knowledge and vision in general.

研究の動機と目的

• 訓練データに存在しない未確認または未知のオブジェクトを含む画像のキャプション生成におけるモデルの限界を解消すること。
• 知識ベース（KB）からの構造化された知識を統合することで、オフドメインの視覚的概念に対するキャプション生成を改善すること。
• キャプション生成中にKBエンティティを外部的意味的アテンションおよび動的制約として活用する手法を開発すること。
• 画像-キャプション並列コーパスにのみ訓練されたモデルの語彙的・意味的制限を克服すること。

提案手法

• 視覚的オブジェクトをKBエンティティとしてラベルづけするマルチラベル画像分類器を訓練し、視覚的対象をKB内の抽象的概念に固定化する。
• Knowledge Guided Assistance（KGA）は、予測されたKBエンティティラベルをキャプション生成中の外部的意味的アテンションとして使用する。
• KGAは、エンティティの関連スコアをアテンションメカニズムに組み込むことで、デコーダーに動的制約を課す。
• モデルは二段階の訓練プロセスを採用する：まず、画像-KBエンティティペアで画像分類器を訓練し、次にKGAガイドのもとでキャプション生成器をファインチューニングする。
• キャプション生成モデルは、ソフトアテンションを備えたLSTMベースのデコーダーを採用し、アテンション重みはKBからのエンティティ関連スコアによって調整される。
• 推論にはビームサーチを用い、KGA制約を組み込むことで、未知のオブジェクトへの一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 知識ベースは、学習データのキャプションに存在しない未確認のオブジェクトを含む画像のキャプション生成を改善できるか？
• RQ2 KBからの構造化された知識を、キャプション生成モデルのアテンションメカニズムに効果的に統合できるか？
• RQ3 推論中にKBエンティティを動的制約として使用することで、オフドメインオブジェクトのキャプション品質が向上するか？
• RQ4 KGAは、DCC、NOC、LSTM-Cといった既存手法と比較して、未知オブジェクトキャプションにおいて性能で優れているか？
• RQ5 言語モデルの隠れ次元数やビームサーチ戦略の変更が、KGAの性能に与える影響は何か？

主な発見

• KGA-CGMは、MSCOCOの「未確認」スプリットで22.2という最高のMETEORスコアを達成し、NOC や LSTM-C といった先行手法を上回った。
• 「新規」オブジェクトスプリットでは、KGA-CGMがSPICEスコア14.6を達成し、NOC（13.3）やLSTM-C（13.9）を顕著に上回った。
• 512次元のLSTM層を搭載したモデルが、「未確認」スプリットでF1スコア54.5を記録し、より大きな隠れ状態がモデルの耐性を向上させることを示した。
• 定性的分析の結果、予測されたエンティティラベル（例：'Wine_bottle'、'Bus'、'Zebra'）が、キャプションの関連性と意味的正確性を向上させた。
• アテンション可視化により、KGAが特に新規オブジェクトに対して関連するKBエンティティに的確に注目していることが確認された。
• アブレーションスタディの結果、LSTM隠れ層次元を256から512に増加させることで、「未確認」スプリットのF1スコアが6.3ポイント向上した。