[論文レビュー] Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation

Sulabh Katiyar, Samir Kumar Borgohain|arXiv (Cornell University)|Feb 22, 2021

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本論文では、特徴抽出にInception-ResNet-v2を用い、文脈的Komninos単語埋め込みと、反転および透視変換を用いたデータ拡張を組み合わせた画像キャプション生成モデルを提案する。明示的な注目メカニズムを用いないにもかかわらず、特徴表現の向上と階層的単語モデリングのおかげで、標準指標においてベースラインモデルを上回る競争力のある性能を達成している。

ABSTRACT

Image Captioning, or the automatic generation of descriptions for images, is one of the core problems in Computer Vision and has seen considerable progress using Deep Learning Techniques. We propose to use Inception-ResNet Convolutional Neural Network as encoder to extract features from images, Hierarchical Context based Word Embeddings for word representations and a Deep Stacked Long Short Term Memory network as decoder, in addition to using Image Data Augmentation to avoid over-fitting. For data Augmentation, we use Horizontal and Vertical Flipping in addition to Perspective Transformations on the images. We evaluate our proposed methods with two image captioning frameworks- Encoder-Decoder and Soft Attention. Evaluation on widely used metrics have shown that our approach leads to considerable improvement in model performance.

研究の動機と目的

• より深いLSTMアーキテクチャと文脈的単語表現を活用することで、画像キャプション生成の性能を向上させること。
• 効果的なデータ拡張技術を用いて、画像キャプションモデルの過学習を低減すること。
• より良い空間的理解を得るため、グローバル画像埋め込みではなく中間畳み込み特徴を用いる効果を検証すること。
• 文脈的単語埋め込みと深層スタックドLSTMが、注目メカニズムの欠如を補うことができるかどうかを評価すること。
• 表現学習を向上させるために、CNNエンコーダーと単語埋め込み層の両方を微調整すること。

提案手法

• 画像からマルチスケール特徴マップを抽出するために、Inception-ResNet-v2をCNNエンコーダーとして使用し、空間的および領域的情報を保持する。
• 生成キャプション内の長距離依存関係と複雑な文法構造をモデル化するために、3層の深層スタックドLSTMデコーダーを採用する。
• 単語の共起および依存関係の文脈特徴を組み込んだKomninos単語埋め込みを統合し、文脈的に豊かな単語表現を生成する。
• 水平・垂直反転および透視変換を用いたデータ拡張を実施し、学習データの多様性を向上させ、過学習を低減する。
• トレーニング中にCNN特徴抽出器および単語埋め込み層のパラメータを微調整し、キャプション生成タスクに適応した表現を学習する。
• 標準エンコーダー・デコーダーとソフト注目ベースのデコーディングの2つのフレームワークでモデルを評価し、交差エントロピー損失を用いて正解キャプションの条件付き確率を最大化する。

実験結果

リサーチクエスチョン

• RQ1 文脈的単語埋め込みを備えた深層スタックドLSTMデコーダーは、明示的な注目メカニズムを用いずに競争力のある性能を達成できるか？
• RQ2 Inception-ResNet-v2からの中間畳み込み特徴を用いることは、グローバル画像埋め込みと比較して、キャプション生成タスクでどのように異なるか？
• RQ3 幾何的変換を用いたデータ拡張は、画像キャプションモデルの一般化性能を向上させ、過学習を低減するのにどの程度効果的か？
• RQ4 CNNエンコーダーと単語埋め込み層の微調整は、測定可能な性能向上をもたらすか？
• RQ5 文脈的単語埋め込みは、意味的に正確で文脈的に整合性のあるキャプションを生成する能力をどのように向上させるか？

主な発見

• 明示的な注目メカニズムを含まない提案されたエンコーダー・デコーダー・モデルは、標準評価指標において注目メカニズムを用いたモデルと同等またはそれを上回る性能を示した。
• Inception-ResNet-v2を用いた特徴抽出は、より単純なCNNと比較して顕著な性能向上をもたらした。これは、より豊かな特徴表現のおかげである。
• 3層の深層スタックドLSTMは、単層LSTMと比較して、複雑な文法的依存関係のモデリングがより効果的に行えることを示した。
• 文脈的Komninos単語埋め込みは、単語表現の質を向上させ、生成キャプションの意味的正確性を向上させた。
• 反転および透視変換によるデータ拡張は、バリデーションセットでの過学習を効果的に低減し、一般化性能を向上させた。
• 定性的な分析では、モデルがより記述的なキャプションを生成しており、物体の色、行動、シーンの詳細を正しく特定しているが、まれに語の繰り返しが発生する場合がある。