[論文レビュー] Label-Attention Transformer with Geometrically Coherent Objects for Image Captioning

Shikha Dubey, Farrukh Olimov+3 more|arXiv (Cornell University)|Sep 16, 2021

Multimodal Machine Learning Applications参考文献 44被引用数 4

ひとこと要約

本稿では、幾何的に整合性のあるオブジェクト候補と、新しいラベル注意モジュールを統合することで、キャプション品質を向上させるラベル注意トランスフォーマー、LATGeOを提案する。オブジェクト検出、局所化された幾何的比率、ラベルに敏感な注意を活用することで、LATGeOはMS COCOで最先端の性能を達成し、CIDErスコア131.7、BLEU-1スコア81.0を記録した。

ABSTRACT

Automatic transcription of scene understanding in images and videos is a step towards artificial general intelligence. Image captioning is a nomenclature for describing meaningful information in an image using computer vision techniques. Automated image captioning techniques utilize encoder and decoder architecture, where the encoder extracts features from an image and the decoder generates a transcript. In this work, we investigate two unexplored ideas for image captioning using transformers: First, we demonstrate the enforcement of using objects' relevance in the surrounding environment. Second, learning an explicit association between labels and language constructs. We propose label-attention Transformer with geometrically coherent objects (LATGeO). The proposed technique acquires a proposal of geometrically coherent objects using a deep neural network (DNN) and generates captions by investigating their relationships using a label-attention module. Object coherence is defined using the localized ratio of the geometrical properties of the proposals. The label-attention module associates the extracted objects classes to the available dictionary using self-attention layers. The experimentation results show that objects' relevance in surroundings and binding of their visual feature with their geometrically localized ratios combined with its associated labels help in defining meaningful captions. The proposed framework is tested on the MSCOCO dataset, and a thorough evaluation resulting in overall better quantitative scores pronounces its superiority.

研究の動機と目的

• 既存の画像キャプションモデルにおけるオブジェクト関係の明示的モデリングと視覚的・意味的整合性の欠如に対処する。
• オブジェクト寸法の局所的比率によって定義される幾何的整合性を注意メカニズムに統合することで、キャプション品質を向上させる。
• デコード段階で検出されたオブジェクトクラスと言語的構造を関連付けるラベル注意モジュールを導入することで、視覚的および言語的モダリティを統合する。
• オブジェクトレベルの特徴、空間幾何、ラベルに敏感な注意を組み合わせることで、より意味的に正確で文脈的に関連性のあるキャプションが得られることを示す。
• アンサンブル手法を用いない単一モデルアーキテクチャで、MS COCOベンチマークにおいて優れた性能を達成する。

提案手法

• 視覚的入力として、Faster R-CNNを用いてオブジェクト候補を抽出し、細粒度の領域レベル特徴を提供する。
• オブジェクト寸法の局所的比率（例：高さ/幅、相対的サイズ）を測定することで、幾何的整合性を計算し、空間的関係をエンコードする。
• 各デコーダ層に自己注意を介してオブジェクトクラスラベルを事前情報として注入するラベル注意モジュール（LAM）を導入し、意味的接地性を向上させる。
• 完全結合型エンコーダ・デコーダトランスフォーマアーキテクチャを採用し、エンコーダの全出力をデコーダの全入力に接続することで、多段階の特徴統合を可能にする。
• 交差エントロピー損失を用いて学習し、CIDEr や SPICE といった密度評価指標を最適化するために強化学習（PPO）を微調整に活用する。
• エンコーダおよびデコーダスタックに残差接続とスキップ接続を用いることで、学習の安定性と勾配の流れを改善する。

実験結果

リサーチクエスチョン

• RQ1 局所化されたオブジェクト寸法の比率によって定義される幾何的に整合性のあるオブジェクト候補は、画像キャプションモデルの空間的推論を向上させることができるか？
• RQ2 デコーダの注意にオブジェクトラベルを明示的に関連付けることで、視覚的コンテンツと生成言語の整合性が向上するか？
• RQ3 標準的なスタックベースまたはスキップ接続型の変種と比較して、完全結合型エンコーダ・デコーダトランスフォーマアーキテクチャは画像キャプションにおいてどのように性能を発揮するか？
• RQ4 単一モデルのLATGeOフレームワークは、自動評価および人的評価指標の両面で、マルチモデルアンサンブルを上回ることができるか？
• RQ5 最高性能を達成するためのエンコーダ・デコーダ層の接続構成と深さの最適な設定は何か？

主な発見

• LATGeOはMS COCOテストセットでCIDErスコア131.7を達成し、アンサンブルを用いない単一モデルとして、以前のSOTA手法を上回った。
• BLEU-1スコア81.0を達成し、基準キャプションとのn-gram一致度が非常に高いことを示した。
• エンコーダおよびデコーダに残差接続を備えた3層の完全結合型エンコーダ・デコーダアーキテクチャが、最良の性能を発揮した。
• アブレーションスタディの結果、ラベル注意モジュールが性能向上に顕著に寄与しており、特にSPICE（22.9）およびROUGE-L（58.7）スコアで顕著な向上が確認された。
• 強化学習による微調整により、CIDErおよびSPICEスコアがさらに向上し、オンライン最適化の有効性が示された。
• 幾何的に整合性のあるオブジェクト候補の使用により、「前側に」や「隣に」などの空間的記述がより正確に生成され、文脈的な現実性が向上した。