[論文レビュー] Dizygotic Conditional Variational AutoEncoder for Multi-Modal and Partial Modality Absent Few-Shot Learning

Yi Zhang, Sheng Huang+2 more|arXiv (Cornell University)|Jun 28, 2021

Geophysical Methods and Applications参考文献 52被引用数 6

ひとこと要約

本稿では、少数ショット学習のための新しいマルチモーダルデータ拡張手法であるDizygotic Conditional Variational AutoEncoder (DCVAE)を提案する。この手法は、同じランダムシードを共有するが、異なるモダリティ条件（例：視覚的および意味的）を持つ2つの条件付きVAEを共生的に組み合わせるもので、両モダリティからの特徴を適応的に統合して高品質な合成サンプルを生成する。miniImageNet、CIFAR-FS、CUBの各ベンチマークで、部分的なモダリティ欠落状況下でも最先端の性能を達成している。

ABSTRACT

Data augmentation is a powerful technique for improving the performance of the few-shot classification task. It generates more samples as supplements, and then this task can be transformed into a common supervised learning issue for solution. However, most mainstream data augmentation based approaches only consider the single modality information, which leads to the low diversity and quality of generated features. In this paper, we present a novel multi-modal data augmentation approach named Dizygotic Conditional Variational AutoEncoder (DCVAE) for addressing the aforementioned issue. DCVAE conducts feature synthesis via pairing two Conditional Variational AutoEncoders (CVAEs) with the same seed but different modality conditions in a dizygotic symbiosis manner. Subsequently, the generated features of two CVAEs are adaptively combined to yield the final feature, which can be converted back into its paired conditions while ensuring these conditions are consistent with the original conditions not only in representation but also in function. DCVAE essentially provides a new idea of data augmentation in various multi-modal scenarios by exploiting the complement of different modality prior information. Extensive experimental results demonstrate our work achieves state-of-the-art performances on miniImageNet, CIFAR-FS and CUB datasets, and is able to work well in the partial modality absence case.

研究の動機と目的

• 単一モダリティのデータ拡張における限界、特に生成された特徴の多様性不足と事前知識の欠如を是正すること。
• 視覚的および意味的モダリティ情報の補完的利用により、低データ環境下での特徴品質と一般化性能を向上させること。
• 表現および関数的整合性の両面で、元の条件と生成された条件の間の一貫性を維持する強固なフレームワークの開発。
• 部分的モダリティ欠落やクロスモダリティ状況を含む、挑戦的なデータ設定下でも効果的な少数ショット学習を可能にすること。
• 単一モダリティや単純なマルチモダリティ統合手法よりも優れた、マルチモーダルなデータ合成のための新たな生成学習パラダイムの提供。

提案手法

• DCVAEは、同じランダムシードで学習されるが、異なるモダリティ（視覚的および意味的）に条件付けられた2つの条件付き変分オートエンコーダー（CVAE）を用い、二重受精的共生関係を形成する。
• 各CVAEは、それぞれのモダリティに条件付けられた合成特徴を生成する：一方は視覚入力に、他方は意味的記述に条件付けられる。
• 適応的混合メカニズムにより、2つの生成特徴が最終的なハイブリッド合成特徴に統合され、各モダリティの寄与度を学習された重みでバランス調整する。
• 条件サイクル整合性モジュールにより、最終的な合成特徴が、表現的および機能的整合性の両面で、元の両条件（視覚的および意味的）を高精度に再構成できるように保証される。
• モデルは、再構成損失、KLダイバージェンス、およびサイクル整合性損失を組み合わせた損失関数を用いて、エンドツーエンドで学習される。これにより、元の条件と生成された条件の間の整合性が強制される。
• フレームワークは、完全、単一、および部分的に欠落したモダリティを含む、さまざまなモダリティ設定下で、標準的な少数ショットベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 同じランダム性を共有するが、異なるモダリティに条件付けられた二重条件付きVAEアーキテクチャは、少数ショット学習における特徴の多様性と品質を向上させることができるか？
• RQ2 マルチモーダル特徴の適応的統合は、単一モダリティや単純な連結ベースの条件付けと比較して、少数ショット分類においてどのように優れているか？
• RQ3 部分的モダリティ欠落状況（推論時における視覚的または意味的入力の欠落）下でも、本手法はどの程度一般化可能か？
• RQ4 サイクル整合性モジュールは、元の条件と生成された条件の間の機能的および表現的整合性を効果的に維持しているか？
• RQ5 本手法は、miniImageNet、CIFAR-FS、CUBを含む複数の少数ショット学習ベンチマークで、最先端の性能を達成できるか？

主な発見

• DCVAEは、miniImageNet、CIFAR-FS、CUBの各データセットで、完全および部分的モダリティ設定下において、既存手法を上回る最先端の性能を達成している。
• 意味的条件付けCVAEは、5-way 1-shot学習において、単一モダリティCVAEと比較して1.69%の精度向上を示し、低ショット環境下での意味的情報の重要性を示している。
• 視覚的条件付けCVAEは、同じ5-way 1-shot設定下で、単一モダリティCVAEと比較して5.90%の精度向上を示しており、マルチモーダル条件付けの利点を裏付けている。
• ハイブリッド合成特徴$\hat{x}$が最も高い精度を達成しており、$x_s + \hat{x}$の組み合わせは$x_v + \hat{x}$よりも0.72%高い性能を示しており、1ショット学習において意味的特徴がより強く影響を与えていることを示している。
• すべてのモダリティ設定において、DCVAEの合成特徴中心と実際のプロトタイプ間の平均ユークリッド距離は、CVAEよりも一貫して低く、より優れた特徴一般化を確認している。
• サイクル整合性モジュールにより、最終的な合成特徴が、元の視覚的および意味的条件の両方を高精度に再構成できることを確認しており、モデルの整合性およびロバスト性が裏付けられている。