[論文レビュー] Bringing back simplicity and lightliness into neural image captioning

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Oct 15, 2018

Multimodal Machine Learning Applications参考文献 34被引用数 4

ひとこと要約

本稿では、キーモジュールを単純化することで、最小限のパラメータと計算量で高い性能を達成する軽量で効率的なニューラル画像キャプションモデルを提案する。具体的には、d=128の小さな学習済み埋め込み、コンactなcGRUデコーダ、プールドされたCNN特徴量、および単純なアテンション機構を採用する。その単純さにもかかわらず、CIDERおよびMETEORスコアにおいてより強力なベースラインを上回り、高精度を達成するには複雑さが必須ではないことを示している。

ABSTRACT

Neural Image Captioning (NIC) or neural caption generation has attracted a lot of attention over the last few years. Describing an image with a natural language has been an emerging challenge in both fields of computer vision and language processing. Therefore a lot of research has focused on driving this task forward with new creative ideas. So far, the goal has been to maximize scores on automated metric and to do so, one has to come up with a plurality of new modules and techniques. Once these add up, the models become complex and resource-hungry. In this paper, we take a small step backwards in order to study an architecture with interesting trade-off between performance and computational complexity. To do so, we tackle every component of a neural captioning model and propose one or more solution that lightens the model overall. Our ideas are inspired by two related tasks: Multimodal and Monomodal Neural Machine Translation.

研究の動機と目的

• 最小限の計算コストとモデルの複雑さで高い性能を達成するニューラル画像キャプションモデルの開発。
• 従来の研究で一般的な大規模な事前学習済み埋め込みや複雑なアーキテクチャへの依存を低減すること。
• キャプションパイプラインの各コンponentを単純化することで、性能と複雑さのトレードオフを調査すること。
• 洗練されたアーキテクチャが、標準的な指標においてより複雑なモデルを上回ることを示すこと。
• 今後のニューラル画像キャプション研究におけるスケーラブルで効率的なベースラインを提供すること。

提案手法

• GloVe や word2vec などの大規模な事前学習済み埋め込みではなく、次元d=128の小さな共同学習埋め込み行列を用いる。
• パラメータ数と計算量を最小限に抑えるために、隠れ状態サイズを小さくしたコンactなcGRU（条件付きゲートリカレントユニット）デコーダを採用する。
• 完全な特徴マップではなく、プールドされたCNN特徴量（ResNet-50から得られる）を対象とする単純で効果的なアテンション機構を適用する。
• 追加の正規化や複雑なデコーダヘッドを用いずに、出力語彙用の単一の投影行列を用いる。
• クロスエントロピー損失を用いたエンドツーエンド学習に加え、CIDERスコアの向上を目的としたポリシー勾配強化学習（PG）によるファインチューニングを実施する。
• モデルのスケーリングとして、埋め込みおよび隠れ状態の次元を増加する、またはアテンションをマルチヘッドアテンション（MHA）に置き換えることで、さらなる性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル画像キャプションモデルは、顕著に少ないパラメータ数と計算量で高い性能を達成できるか？
• RQ2 小規模で共同学習された埋め込みは、画像キャプションタスクにおいて大規模な事前学習済み埋め込みを上回る性能を発揮するか？
• RQ3 プールドされた特徴量に基づく単純化されたアテンション機構は、完全な特徴マップに対するアテンションを同等または上回る性能を発揮するか？
• RQ4 軽量なアーキテクチャは、複雑さを増さずに性能を向上させるためにどの程度スケーラブルか？
• RQ5 より単純なモデルアーキテクチャは、複雑で最先端のモデルと比較して、一般化性能が向上するか、または学習がより速くなるか？

主な発見

• RL-PGファインチューニングを用いることで、本モデルはCIDERスコア1.071を達成し、ベースラインのXEモデルを+63ポイント上回った。
• METEORスコアについても、ベースラインのXEモデルを+63ポイント上回り、モンテカルロ・ループアウトの変種でさえも上回った。
• d=128の埋め込みと小さな隠れ状態を持つcGRUを用いることで、パラメータ数を顕著に削減しながらも、強力な性能を維持した。
• モデルは効果的にスケーリング可能である：cGRUの幅を2倍にした（cGRUx2）り、アテンションをマルチヘッドアテンション（MHA）に置き換えることで、CIDERスコアがさらに向上した。
• 強力なベースライン（Renn et al.）を、BERTScore（B4）、METEOR、CIDERのすべての指標で上回り、より単純で高速な学習プロセスを実現した。
• アブレーションスタディにより、小規模な埋め込み、プールド特徴量、およびコンactデコーダの組み合わせが、性能と効率性の両面で重要な要因であることが確認された。