[論文レビュー] Order embeddings and character-level convolutions for multimodal alignment

Jônatas Wehrmann, Anderson Mattjie+1 more|arXiv (Cornell University)|Jun 3, 2017

Multimodal Machine Learning Applications参考文献 33被引用数 21

ひとこと要約

本論文は、単語埋め込みとRNNを置き換えることで、より高速でシンプルなトレーニングが可能になり、パラメータ数も少ない、画像・テキストアライメントのための文字レベル畳み込みニューラルネットワークを提案する。順序埋め込みを用いて意味的階層を保持し、対照的損失を最適化することで、Microsoft COCOデータセットで最先端の性能を達成した。

ABSTRACT

With the novel and fast advances in the area of deep neural networks, several challenging image-based tasks have been recently approached by researchers in pattern recognition and computer vision. In this paper, we address one of these tasks, which is to match image content with natural language descriptions, sometimes referred as multimodal content retrieval. Such a task is particularly challenging considering that we must find a semantic correspondence between captions and the respective image, a challenge for both computer vision and natural language processing areas. For such, we propose a novel multimodal approach based solely on convolutional neural networks for aligning images with their captions by directly convolving raw characters. Our proposed character-based textual embeddings allow the replacement of both word-embeddings and recurrent neural networks for text understanding, saving processing time and requiring fewer learnable parameters. Our method is based on the idea of projecting both visual and textual information into a common embedding space. For training such embeddings we optimize a contrastive loss function that is computed to minimize order-violations between images and their respective descriptions. We achieve state-of-the-art performance in the largest and most well-known image-text alignment dataset, namely Microsoft COCO, with a method that is conceptually much simpler and that possesses considerably fewer parameters than current approaches.

研究の動機と目的

• マルチモodal検索における画像と自然言語記述のアライメントを解決すること。
• 計算コストが高く、メモリを多く消費する事前学習済み単語埋め込みとRNNに依存しないようにすること。
• パフォーマンスを維持しつつ、テキスト理解のためのアーキテクチャを単純化すること。
• リソースが限られた環境や多言語NLPシナリオにおける効率性とスケーラビリティを向上させること。

提案手法

• 1次元畳み込み層を用いて、単語埋め込みやRNNを置き換える形で、生の文字列を直接処理する。
• 学習可能なフィルタを用いたパディング済み畳み込みを適用し、文字レベルのテキスト埋め込みを生成する。
• 画像キャプションの部分順序構造をモデル化するために、順序埋め込みを用いる。
• 正例の画像・キャプションペアにおける順序違反をペナルティとする対照的損失関数を最適化する。
• 視覚的特徴とテキスト的特徴を共通の埋め込み空間に投影し、クロスモーダルアライメントを実現する。
• 事前学習なしで、COCOデータセット上で対照的学習を用いてエンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 生の文字レベル畳み込みは、画像・テキストアライメントにおいて、単語埋め込みとRNNを効果的に置き換えられるか？
• RQ2 順序埋め込みを用いることで、キャプション内の意味的階層を保持でき、性能が向上するか？
• RQ3 より単純でパrameterが少ないアーキテクチャは、複雑な最先端モデルを凌駆する性能を発揮できるか？
• RQ4 RNNベースのベースラインと比較して、本手法のトレーニング効率と推論速度はどのようにスケーリングするか？

主な発見

• 提案手法は、画像・テキスト検索においてMicrosoft COCOデータセットで最先端の性能を達成した。
• 従来のRNNおよび単語埋め込みベースのアプローチと比較して、学習可能なパラメータ数を顕著に削減した。
• 事前学習済み埋め込みや複雑な系列モデリングの必要がないため、トレーニングがより高速でシンプルになった。
• 失敗事例から、複雑なシーンにおけるレアまたは曖昧な視覚的コンセプトの処理に課題があることが明らかになった。
• アブレーションスタディにより、文字レベル畳み込みのみで十分な性能が得られ、一部の設定では単語埋め込みベースラインを上回ることが確認された。
• 順序埋め込みの使用により、階層的キャプション構造のアライメントが向上し、検索精度が向上した。