[論文レビュー] MultiSubs: A Large-scale Multimodal and Multilingual Dataset

Josiah Wang, Pranava Madhyastha+3 more|arXiv (Cornell University)|Mar 2, 2021

Multimodal Machine Learning Applications参考文献 35被引用数 7

ひとこと要約

本稿では、マルチリンガルな意味の一致とBabelNetを用いて文脈的な文の使用における個々の語や語群を画像にマッピングする、大規模なマルチモーダルでマルチリンガルなデータセットMultiSubsを紹介する。このデータセットは、先行研究よりもきめ細やかな局所的画像・テキストの整合性を実現し、評価結果から画像は穴埋め問題における性能向上に寄与するが、語彙翻訳タスクでは限定的な利点にとどまることから、翻訳における効果的なマルチモーダル統合の難しさが浮き彫りになる。

ABSTRACT

This paper introduces a large-scale multimodal and multilingual dataset that aims to facilitate research on grounding words to images in their contextual usage in language. The dataset consists of images selected to unambiguously illustrate concepts expressed in sentences from movie subtitles. The dataset is a valuable resource as (i) the images are aligned to text fragments rather than whole sentences; (ii) multiple images are possible for a text fragment and a sentence; (iii) the sentences are free-form and real-world like; (iv) the parallel texts are multilingual. We set up a fill-in-the-blank game for humans to evaluate the quality of the automatic image selection process of our dataset. We show the utility of the dataset on two automatic tasks: (i) fill-in-the-blank; (ii) lexical translation. Results of the human evaluation and automatic models demonstrate that images can be a useful complement to the textual context. The dataset will benefit research on visual grounding of words especially in the context of free-form sentences, and can be obtained from https://doi.org/10.5281/zenodo.5034604 under a Creative Commons licence.

研究の動機と目的

• 特定のテキスト断片を画像に局所的で文脈に依存する整合性を持つ、大規模で自由形式のマルチリンガルデータセットが不足しているという問題に対処すること。
• 全文脈の文の文脈内での語と画像の対応関係を学習できるようにすることで、視覚的マッピングを改善すること。
• 実世界の言語使用に一般化できるように、多様でドメインに依存しない画像とマルチリンガルな並列テキスト断片を含むデータセットを構築すること。
• 人間が穴埋めゲームを実施することで、画像の有効性を文脈的理解に与える影響を評価する人間によるアノテーションを通じて、データセットの品質を評価すること。
• データセットの有用性を、穴埋めタスクと語彙翻訳タスクの2つのタスクで示し、視覚的信号を含むモデルと含まないモデルを比較すること。

提案手法

• 映画の字幕を英語と他の4ヶ国語で並列に持つコーパスからMultiSubsを構築し、視覚的に顕著な語を選別して図示する。
• マルチリンガルなマルチモーダルな意味の曖昧さ解消を実施：並列テキストを用いて、言語間での語の意味の曖昧さを解消し、BabelNetを活用して共通のシングレット（synset）を特定する。
• 意味が明確になったシングレットに対応するBabelNetの画像を取得し、対象語の文脈における視覚的関連性を保証する。
• 同じテキスト断片に対して複数の画像を許容することで、意味的および視覚的な多様性を反映させ、曖昧さに対する耐性を高める。
• 人間による評価ゲームを設計し、画像のヒントがある・ないの状況で、文の欠落語を推測する参加者を対象に、データセットの品質を評価する。
• 2つのタスク（穴埋めと語彙翻訳）でモデルを訓練および評価し、複数の言語で、画像あり・なしの状況を含む。

実験結果

リサーチクエスチョン

• RQ1 局所的画像・テキストの整合性を持つ大規模でマルチリンガルでマルチモーダルなデータセットは、自由形式の文脈的言語における視覚的マッピングを改善できるか？
• RQ2 穴埋めタスクにおける語の予測において、画像を文脈的ヒントとして用いる場合、テキストのみのモデルと比較してどの程度有効であるか？
• RQ3 文脈的なテキスト情報と組み合わせた場合、視覚的信号は語彙翻訳のパフォーマンスをどの程度向上させるか？
• RQ4 画像・テキストの整合性の質が、異なる言語や語の種類においてモデルのパフォーマンスに与える影響はどの程度か？
• RQ5 語の頻度やデータのスパarsityが、マルチモーダルタスクにおけるモデルパフォーマンスに与える影響はどの程度か？

主な発見

• 穴埋めタスクにおける人間のパフォーマンスは低く、画像なしでは欠落語の正答率が僅か21.89％にとどまり、42.41％の試行で完全に失敗した。
• 語彙翻訳タスクにおいて、テキストのみのモデルが画像のみのモデルを上回った。これは、視覚的信号のみでは翻訳パフォーマンスにほとんど寄与しないことを示している。
• マルチモーダルモデルは画像のみのモデルを一貫して上回ったが、向上幅は限定的で、最高ケース（ドイツ語、intersect=4）ではALIスコアが0.19から0.81に上昇した。
• テキストのみのモデルは、最高のintersect=4設定を除き、すべてのニューラルマルチモーダルモデルを上回るALIスコアを達成した。これは、現在のモデルが視覚的信号を効果的に活用できていない可能性を示唆している。
• 穴埋めタスクは人間に対しても困難であり、データセットが複雑で現実世界の言語的・視覚的マッピングの課題を的確に捉えていることを示している。
• BabelNetとクロスリンガルな整合性を用いたデータセット構築法により、言語間での意味の曖昧さが効果的に解消され、明確に意味が定義された意味に対して正確な画像選択が可能になった。