[論文レビュー] Unpaired Image Captioning via Scene Graph Alignments

Jiuxiang Gu, Shafiq Joty+4 more|arXiv (Cornell University)|Mar 26, 2019

Multimodal Machine Learning Applications参考文献 42被引用数 26

ひとこと要約

この論文では、画像とテキストの間のクロスモodalブリッジとしてシーングラフを活用する、未対応画像キャプション生成フレームワーク「Graph-Align」を提案する。テキストのみのデータ上でシーングラフエンコーダーと文デコーダーを事前学習し、画像のシーングラフ特徴を文モalityにマッピングするためのCycleGANベースの非教師あり特徴アライメントを用いることで、ペaired画像キャプションデータが一切不要な状態で高品質なキャプションを生成でき、MSCOCO上で先行する未対応手法を大きく上回る性能を達成した。

ABSTRACT

Most of current image captioning models heavily rely on paired image-caption datasets. However, getting large scale image-caption paired data is labor-intensive and time-consuming. In this paper, we present a scene graph-based approach for unpaired image captioning. Our framework comprises an image scene graph generator, a sentence scene graph generator, a scene graph encoder, and a sentence decoder. Specifically, we first train the scene graph encoder and the sentence decoder on the text modality. To align the scene graphs between images and sentences, we propose an unsupervised feature alignment method that maps the scene graph features from the image to the sentence modality. Experimental results show that our proposed model can generate quite promising results without using any image-caption training pairs, outperforming existing methods by a wide margin.

研究の動機と目的

• 大規模なペアド画像キャプションデータセットの収集が高コストかつ時間がかかるため、そのようなデータが入手できない状況で画像キャプションモデルを訓練する課題に対処すること。
• 未対応画像キャプションにおいて、視覚的および言語的表現の間のモダリティギャップを、構造化されたシーングラフ表現を活用することで埋める。
• ペアド例が一切不要な状態で、画像のシーングラフ特徴をテキスト特徴空間にマッピングする非教師ありクロスモーダルアライメント手法を開発すること。
• シーングラフに内蔵された豊富な意味的関係を活用することで、ゼロショットかつ未対応設定におけるキャプション生成品質を向上させること。

提案手法

• フレームワークは、画像からオブジェクト、関係、属性のノードを抽出するためのビジュアルシーングラフ生成器と、テキストから文のシーングラフを生成するための事前学習済み言語解析器を用いる。
• シーングラフエンコーダーと文デコーダーは、まず大規模なテキストのみのコーパス上で事前学習され、シーングラフの意味的表現を学習する。
• 非教師あり特徴アライメントモジュールは、CycleGANに基づき、エンコードされた画像のシーングラフ特徴をテキスト特徴空間にマッピングし、モダリティ間の互換性を実現する。
• モデルは、複雑なオブジェクト関係を捉えるために、グラフ畳み込みネットワーク（GCNs）とアテンションメカニズムを用いてシーングラフ構造をエンコードする。
• アライメントプロセスでは、サイクル整合性のある敵対的訓練を用い、両モダリティの特徴が共有され、整合性のある潜在空間にマッピングされることを保証する。
• オブジェクト、関係、属性の3種類のシーングラフ埋め込みが別々にマッピングされ、連結されることで、アライメントの忠実度が向上する。

実験結果

リサーチクエスチョン

• RQ1 シーングラフは、画像とテキストの未対応モダリティを画像キャプションにおいて効果的な中間表現として機能するか？
• RQ2 ペアドデータが一切ない状況で、画像と文のシーングラフ間の非教師あり特徴アライメントをどのように達成できるか？
• RQ3 テキストのみで事前学習された文デコーダーを、特徴空間アライメントを通じて画像のシーングラフからキャプションを生成するために効果的に適応できるか？
• RQ4 エンドツーエンドモデルと比較して、シーングラフベースの表現は未対応設定におけるキャプション品質をどの程度向上させるか？

主な発見

• Graph-AlignはMSCOCOテストスプリットでSOTA性能を達成し、BLEU-4（21.5）、METEOR（20.9）、ROUGE（47.2）、CIDEr（69.5）、SPICE（15.0）の全指標で先行する未対応手法を上回った。
• オブジェクト、関係、属性の3つの埋め込みタイプに共通のCycleGANマッピングを適用した結果、単一または連結されたGANよりも優れたアライメントが得られた（表5参照）。
• 識別器の出力次元を1に削減すると性能が著しく低下したため、効果的な非教師ありアライメントには強力な識別器が不可欠であることが示された。
• 定性的な分析から、画像のシーングラフが文のグラフほど詳細でない場合でも、モデルは意味的に関連性のあるキャプションを生成できることを示し、モダリティの不均衡に対しても頑健であることがわかった。
• 失敗事例の分析から、属性表現の不整合や、画像グラフにおける局所領域への注目が、生成エラーの主な要因であることが明らかになった。これは、主な限界点を示している。