[論文レビュー] Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset

Oier López de Lacalle, Aitor Soroa+1 more|arXiv (Cornell University)|Sep 11, 2018

Topic Modeling参考文献 18被引用数 3

ひとこと要約

本稿では、文のペアと人間がアノテートした類似度スコア（0–5）および対応する画像を組み合わせたマルチモーダルデータセットvSTSを紹介する。テキストのみのモデル（例：Decomposable Attention Model）と画像表現（ResNet-50）を組み合わせることで、視覚的情報が文の類似度予測を顕著に向上させることを示した。テキストと画像の最良モデルを組み合わせた場合、テストセットでピアソン相関係数0.78を達成した。

ABSTRACT

In this paper we introduce vSTS, a new dataset for measuring textual similarity of sentences using multimodal information. The dataset is comprised by images along with its respectively textual captions. We describe the dataset both quantitatively and qualitatively, and claim that it is a valid gold standard for measuring automatic multimodal textual similarity systems. We also describe the initial experiments combining the multimodal information.

研究の動機と目的

• 視覚的情報が文の表現モデルの意味的類似度タスクにおける性能に与える影響を評価するための標準化されたベンチマークを構築すること。
• 画像表現のみで文の類似度を予測できるかを調査すること。
• テキスト表現と画像表現を組み合わせることで、テキストのみのモデルに比べて性能が向上するかを検討すること。

提案手法

• vSTSデータセットは、STSベンチマークの「STS-images」サブセットに基づく。829の文のペアが含まれ、人間による類似度スコアと対応する画像が付与されている。
• 画像表現は事前学習済みのResNet-50モデルを用いて抽出され、テキスト表現は語の重複、GloVe埋め込み（重心平均化）およびDecomposable Attention Model（DAM）によって生成される。
• 類似度スコアは、文の埋め込みと画像の埋め込みの間でコサイン類似度を計算することで算出される。
• テキストと画像の予測を統合するため、加算、乗算、線形回帰を用いたモデルの組み合わせが試行された。
• データセットは開発セットとテストセット（それぞれ50％）に分割され、類似度スコアの分布が保持された。
• 線形回帰のパラメータは、開発セット上で10分割交差検証を用いて最適化された。

実験結果

リサーチクエスチョン

• RQ1 画像表現のみで、妥当な精度で文の類似度を予測できるか？
• RQ2 画像表現とテキスト表現を組み合わせることで、テキストのみのモデルに比べて性能が向上するか？
• RQ3 異なるテキストベースのモデル（例：語の重複、GloVe、DAM）は、視覚的特徴を追加することでどのように性能を発揮するか？

主な発見

• 画像のみのResNet-50モデルは、テストセットでピアソン相関係数0.61を達成し、画像表現のみでも意味のある類似度情報が保持されていることが示された。
• テキストのみのDecomposable Attention Model（DAM）は、単一モデルの中で最高の性能を示し、テストでの相関係数は0.69であった。
• DAMとResNet-50を線形回帰で統合した場合、最良の結果が得られ、テストでのピアソン相関係数は0.78に達した。
• 予測の加算および乗算による統合も性能向上に寄与し、最良の組み合わせ（DAM + ResNet-50）は、すべての統合手法で0.78の相関係数を達成した。
• データセットは低類似度スコア（819件中159件が0点）に強くバイアスがかかるが、依然として意味のある評価に十分な変動性を保っている。
• 結果から、視覚的およびテキスト的表現が補完的であることが確認され、視覚的入力がマルチモーダル文類似度タスクにおけるテキストベースの推論を強化することが示された。