[論文レビュー] Recurrent Image Captioner: Describing Images with Spatial-Invariant Transformation and Attention Filtering

Hao Líu, Yang Yang+3 more|arXiv (Cornell University)|Dec 15, 2016

Multimodal Machine Learning Applications参考文献 6被引用数 6

ひとこと要約

本稿では、微分可能空間変換器層を介した空間的に不変な特徴抽出と、微分可能アテンションフィルタモジュールを統合することで、顕著な視覚的領域を動的に強調する、エンド・トウ・エンドの画像キャプション生成アーキテクチャであるRecurrent Image Captioner (RIC) を提案する。エンコーダーとデコーダーの間で再帰的フィードバックループを導入し、変分推論を最適化手法として用いることで、Flickr8k、Flickr30k、MS COCOの各ベンチマークで最先端の性能を達成し、追加の監視情報を用いない大多数の既存手法を上回る。

ABSTRACT

Along with the prosperity of recurrent neural network in modelling sequential data and the power of attention mechanism in automatically identify salient information, image captioning, a.k.a., image description, has been remarkably advanced in recent years. Nonetheless, most existing paradigms may suffer from the deficiency of invariance to images with different scaling, rotation, etc.; and effective integration of standalone attention to form a holistic end-to-end system. In this paper, we propose a novel image captioning architecture, termed Recurrent Image Captioner ( extbf{RIC}), which allows visual encoder and language decoder to coherently cooperate in a recurrent manner. Specifically, we first equip CNN-based visual encoder with a differentiable layer to enable spatially invariant transformation of visual signals. Moreover, we deploy an attention filter module (differentiable) between encoder and decoder to dynamically determine salient visual parts. We also employ bidirectional LSTM to preprocess sentences for generating better textual representations. Besides, we propose to exploit variational inference to optimize the whole architecture. Extensive experimental results on three benchmark datasets (i.e., Flickr8k, Flickr30k and MS COCO) demonstrate the superiority of our proposed architecture as compared to most of the state-of-the-art methods.

研究の動機と目的

• 既存の画像キャプションモデルにおける空間的不変性の欠如、特にスケーリング、回転、平行移動に対する耐性の欠如を是正すること。
• アテンション機構を独立したモジュールとしてではなく、微分可能で相互に適応するコンponentとして統合することで、エンド・トウ・エンドの学習を可能にすること。
• エンコーダーとデコーダーの間の再帰的フィードバックループにより、低レベルの視覚的特徴と高レベルの言語的意味の間の意味的ギャップを縮小すること。
• 変分推論を用いて全アーキテクチャを最適化し、生成品質と耐性の向上を図ること。

提案手法

• CNNベースの視覚的エンコーダーに微分可能空間変換器層を装備することで、視覚的特徴表現における空間的不変性を達成する。
• 事前視覚的特徴と生成されたキャプションに基づいて、顕著な視覚的領域を動的に選択する微分可能アテンションフィルタモジュールを導入する。
• LSTMデコーダーから空間変換層への再帰的フィードバックループを構築し、視覚的表現を繰り返し精錬する。
• 文生成中にテキスト表現を豊かにするために、双方向LSTMを用いる。
• 真のキャプションの尤度の下界を最大化するように、全アーキテクチャを変分推論を用いて最適化する。
• 全データセットでVGG-16を視覚的エンコーダーとして使用し、Adam最適化手法を用いて学習を行う。

実験結果

リサーチクエスチョン

• RQ1 微分可能空間変換器層は、スケーリングや回転といった空間的変化に対して、画像キャプションの耐性を向上させることができるか？
• RQ2 エンコーダ-デコーダーのループに微分可能アテンションフィルタを統合することで、顕著な画像領域の局在化が向上し、キャプション品質が向上するか？
• RQ3 エンコーダーとデコーダーの間の再帰的フィードバック機構により、視覚的特徴と生成言語の間の意味的ギャップを縮小できるか？
• RQ4 変分推論に基づく最適化は、標準的な尤度最大化に比べて、一般化性能と性能を向上させるか？

主な発見

• RICモデルに空間変換器層（STL）と微分可能アテンションフィルタ（DAF）の両方を組み込むことで、Flickr8k、Flickr30k、MS COCOの各データセットで、大多数の最先端手法を上回り、BLEUおよびMETEORスコアが向上する。
• RICモデルにSTLのみを搭載しても、[54]のような従来のアテンションベースのモデルを上回ることを示しており、空間的不変性の利点が明確に裏付けられている。
• DAFモジュールを追加することでさらなる性能向上が得られ、動的アテンションフィルタリングがキャプションの正確性と詳細性を向上させることを示している。
• 変分推論を用いた完全なRICモデルは、画像属性マッピングや半教師ありImageNet事前学習を用いるモデルですら上回る最先端の結果を達成している。
• 追加の属性語彙や外部監視情報が不要であるにもかかわらず、強力な性能を発揮しており、効率性とエンド・トウ・エンド最適性の両面で優れていることが示されている。