[論文レビュー] A Multimodal Fusion Network For Student Emotion Recognition Based on Transformer and Tensor Product

Xiang Ao, Zongqing Qi+3 more|arXiv (Cornell University)|Mar 13, 2024

Educational Technology and Pedagogy被引用数 5

ひとこと要約

BERTテキストとViT画像特徴をテンソル積融合を用いてTransformerフレームワーク内で統合する多モーダルモデルは、学生の感情認識で93.65%の精度を達成し、精度と速度の点でCLIPおよびViLBERTを上回る。

ABSTRACT

This paper introduces a new multi-modal model based on the Transformer architecture and tensor product fusion strategy, combining BERT's text vectors and ViT's image vectors to classify students' psychological conditions, with an accuracy of 93.65%. The purpose of the study is to accurately analyze the mental health status of students from various data sources. This paper discusses modal fusion methods, including early, late and intermediate fusion, to overcome the challenges of integrating multi-modal information. Ablation studies compare the performance of different models and fusion techniques, showing that the proposed model outperforms existing methods such as CLIP and ViLBERT in terms of accuracy and inference speed. Conclusions indicate that while this model has significant advantages in emotion recognition, its potential to incorporate other data modalities provides areas for future research.

研究の動機と目的

• テキストと画像という複数ソースのデータを用いて、学生のメンタルヘルスを正確に評価する動機づけ。
• 感情/心理状態の分類のために、テキストと視覚モダリティを効果的に統合する融合ネットワークを開発する。
• 最先端のベースラインと比較して、早期融合・後期融合・中間融合の戦略とアブレーションを評価する。
• 提案手法の推論速度と実用的な利点についての洞察を提供する。

提案手法

• テキストにはBERT、画像にはViTを用いるなど、マルチモーダル入力を処理するためのTransformerベースのアーキテクチャを用いる。
• テンソル積融合を用いてモーダル間相互作用を捉え、モダリティを融合する。
• 早期・後期・中間の融合戦略を比較して、効果的な統合点を決定する。
• 融合手法とモダリティ寄与の影響を評価するためのアブレーション研究を実施する。
• 精度と推論速度の観点からCLIPおよびViLBERTと比較する。

実験結果

リサーチクエスチョン

• RQ1 Transformerフレームワーク内のテンソル積ベースの融­合は、テキストと画像からの多モーダル感情認識を改善できるか？
• RQ2 学生の感情認識における早期・後期・中間融合戦略は、性能と効率の点でどう比較されるか？
• RQ3 提案モデルは、精度と速度の点で既存のマルチモーダルベースライン（例：CLIP、ViLBERT）を上回るか？
• RQ4 テキストとビジョンを超える追加データモダリティを組み込む可能性は、学生のメンタルヘルス評価においてどの程度あるか？

主な発見

• テキストと画像表現を融合して学生の感情認識で93.65%の精度を達成。
• 提案モデルは精度と推論速度の点でCLIPとViLBERTを上回る。
• アブレーション研究により、テンソル積融合とTransformerベースの統合が他の融合方式より効果的であることを示した。
• Transformerとテンソル積融合を用いた中間融合は、強力なモダリティ間相互作用を提供しつつ、推論の効率性を維持する。