[論文レビュー] A survey on Self Supervised learning approaches for improving Multimodal representation learning

Naman Goyal|arXiv (Cornell University)|Oct 20, 2022

Text and Document Classification Technologies被引用数 5

ひとこと要約

本調査では、マルチモーダル表現学習を向上させるために、クロスモーダル生成、クロスモーダル事前学習、巡回変換、自己教師あり単モーダルラベル生成の4つの自己教師あり学習手法を提示する。データの構造を活用して教師信号を生成することで、人間によるアノテーションが不要な状態で共同表現を向上させ、マルチモーダルセンチメント分析などのタスクで頑健な性能を達成する。

ABSTRACT

Recently self supervised learning has seen explosive growth and use in variety of machine learning tasks because of its ability to avoid the cost of annotating large-scale datasets. This paper gives an overview for best self supervised learning approaches for multimodal learning. The presented approaches have been aggregated by extensive study of the literature and tackle the application of self supervised learning in different ways. The approaches discussed are cross modal generation, cross modal pretraining, cyclic translation, and generating unimodal labels in self supervised fashion.

研究の動機と目的

• マルチモーダル表現学習におけるラベル付きマルチモーダルデータの不足という課題に対処すること。
• 人間のアノテーションではなく、データ構造から教師信号を生成する自己教師あり学習技術を調査すること。
• マルチモーダルデータから導出される単モーダルの監視を統合することで、マルチモーダル表現学習を向上させること。
• 自己教師あり手法が、下流タスクに向けた頑健な共同マルチモーダル表現を学習する有効性を評価すること。
• 最先端の自己教師あり手法の包括的概要を提供し、特に表現学習に焦点を当てること。

提案手法

• 画像からテキスト、テキストから画像への生成モデルを用いて、根拠のある局所的表現を生成するクロスモーダル生成を利用する。
• 高レベルの抽象的特徴と低レベルの根拠のある特徴を備えた二重ブランチアーキテクチャを採用し、表現の整合性を向上させる。
• Seq2Seqネットワークを用いて、言語→視覚→音声などのモーダル間で巡回変換を適用し、共同表現を学習する。
• クラス中心からの相対的距離に基づいて単モーダルラベルを推定する非パrametricな単モーダルラベル生成モジュールを導入する。
• マルチタスク学習と重み付き損失戦略を用いて、マルチモーダルおよび自己教師あり単モーダル予測ヘッドを同時に最適化する。
• 巡回変換とタスク固有の予測目的を組み合わせた、結合された翻訳-予測損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習は、高価な人間のアノテーションに依存せずに、マルチモーダル表現学習をどのように改善できるか？
• RQ2 クロスモーダル生成は、画像とテキスト表現間の整合性と根拠づけをどの程度向上させられるか？
• RQ3 標準的な事前学習と比較して、モーダル間の巡回変換はより頑健な共同表現を生成できるか？
• RQ4 自己教師ありによる単モーダルラベル生成は、マルチモーダルモデルの性能向上にどの程度効果的か？
• RQ5 自己教師あり単モーダル監視を組み込んだマルチタスク学習が、下流タスクの精度に与える影響は何か？

主な発見

• 根拠のある特徴と抽象的特徴を併用したクロスモーダル生成により、局所的およびグローバルな表現の整合性が向上し、リtrieval性能が向上する。
• モーダル間の巡回変換により、全モーダルから最大限の情報を捉えたエンドツーエンドの共同表現学習が可能になる。
• クラス中心からの相対的距離に基づく自己教師あり単モーダルラベル生成により、意味のある教師信号が得られ、モデルの一般化性能が向上する。
• バランスの取れた損失重み付けを用いたマルチタスク学習により、マルチモーダルおよび単モーダルヘッドの両方の学習効率と性能が向上する。
• 提案手法は、推論時にソースモーダルのみを入力とすれば、マルチモーダルセンチメント分析において優れた性能を達成する。
• 本フレームワークは、人間によるアノテーションラベルが乏しい低リソース環境において特に、頑健性と転送性を示す。