[論文レビュー] Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning

Xiongye Xiao, Gengshuo Liu+7 more|arXiv (Cornell University)|Apr 15, 2024

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本論文は、情報理論的階層的知覚（ITHP）を提案する。これは神経科学にインspiredされたマルチモーダル学習モデルであり、情報ボトルネックの原則に従い、二次的モダリティからプライマリモダリティへと階層的に情報の特徴抽出を行う。これにより、コン pact で情報量の多い潜在表現が得られる。ITHP は MUStARD、CMU-MOSI、CMU-MOSEI において最先端のモデルを上回り、CMU-MOSI におけるマルチモーダルセンチメント分類において、すべての指標で人間水準を超える性能を示した。

ABSTRACT

Integrating and processing information from various sources or modalities are critical for obtaining a comprehensive and accurate perception of the real world in autonomous systems and cyber-physical systems. Drawing inspiration from neuroscience, we develop the Information-Theoretic Hierarchical Perception (ITHP) model, which utilizes the concept of information bottleneck. Different from most traditional fusion models that incorporate all modalities identically in neural networks, our model designates a prime modality and regards the remaining modalities as detectors in the information pathway, serving to distill the flow of information. Our proposed perception model focuses on constructing an effective and compact information flow by achieving a balance between the minimization of mutual information between the latent state and the input modal state, and the maximization of mutual information between the latent states and the remaining modal states. This approach leads to compact latent state representations that retain relevant information while minimizing redundancy, thereby substantially enhancing the performance of multimodal representation learning. Experimental evaluations on the MUStARD, CMU-MOSI, and CMU-MOSEI datasets demonstrate that our model consistently distills crucial information in multimodal learning scenarios, outperforming state-of-the-art benchmarks. Remarkably, on the CMU-MOSI dataset, ITHP surpasses human-level performance in the multimodal sentiment binary classification task across all evaluation metrics (i.e., Binary Accuracy, F1 Score, Mean Absolute Error, and Pearson Correlation).

研究の動機と目的

• 人間の脳における階層的かつフィードバック駆動の情報処理にインspiredされたマルチモーダル知覚モデルの開発。
• 高次元的かつ相関の高いマルチモーダルデータの課題に対処し、構造的かつ選択的な情報統合を可能にする。
• 不要な情報を最小限に抑えつつタスク関連の信号を保持することで、コン pact で情報量の多い潜在表現を達成する。
• 情報の流れを階層的なプロセスとしてモデル化し、1 つのモダリティを主入力とし、他のモダリティを表現を精緻化する検出器として位置づける。
• 特にセンチメント分析タスクにおいて、既存のベンチマークを上回るマルチモーダル表現学習の性能を達成する。

提案手法

• ITHP は、プライマリモダリティを最初に処理し、他のモダリティが潜在表現を精緻化する階層的情報ボトルネック（IB）フレームワークを採用する。
• 潜在状態と入力モダリティ状態の間の相互情報量を最小化し、潜在状態と残りのモダリティ状態の間の相互情報量を最大化するバランスを取る損失関数を最適化する。
• 潜在状態は、符号化にパラメータ θk、予測に ψk を用いたニューラルネットワークにより学習され、後方分布の近似に変分推論が用いられる。
• 各階層レベルでの圧縮と予測忠実度のトレードオフを制御するため、ラグランジュ乗数 β と γk が使用される。
• サンプルエントロピー（SampEn）とサブモジュラー関数最適化を用いてモダリティをランク付けし、統合に最も情報をもたらすソースを特定する。
• 係数 λk と α を用いて、第一段階およびそれ以降の段階の IB 目的を統合し、タスク固有の性能と情報圧縮のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 階層的で生物学的インスパイアされた情報フローは、従来の統合手法と比較して、マルチモーダル表現学習をどのように改善するか？
• RQ2 二次的モダリティを検出器として位置づけるプライマリモダリティベースのアーキテクチャは、マルチモーダル学習における性能とコンパクトネスを向上させられるか？
• RQ3 ITHP モデルは、マルチモーダルセンチメント分類において、どの程度人間水準を超えるか？
• RQ4 サンプルエントロピーとサブモジュラー順序付けは、階層的統合パイプラインにおいて、最も情報をもたらすモダリティを効果的に特定できるか？
• RQ5 相互情報量の最小化と最大化のバランスが、学習された潜在表現の質に与える影響は何か？

主な発見

• ITHP は MUStARD、CMU-MOSI、CMU-MOSEI データセットにおいて最先端の性能を達成し、すべてのベンチマークで一貫した改善を示した。
• CMU-MOSI データセットにおいて、ITHP はマルチモーダルセンチメント二値分類で人間水準を超えた。すべての指標（二値正解率、F1 スコア、平均絶対誤差、ピアソン相関）で人間を上回った。
• モデルの潜在表現は、相互情報量の最小化と最大化の最適なバランスのおかげで、著しくコン pact かつ情報量が多くなっている。
• サンプルエントロピーとサブモジュラー順序付けは、感情分析タスクにおいて、最も情報をもたらすモダリティを効果的に特定した。特に音声とテキストの特徴が、上位の寄与を示した。
• 階層的設計により、関連する信号の分離とノイズの抑制が効果的に行われ、高次元的かつ相関の高い入力条件下でも安定した性能が得られた。
• アブレーションスタディの結果、階層構造と情報ボトルネックのコンponents が性能向上に不可欠であることが確認され、いずれのコンponent を欠損させると著しい性能低下が生じた。