[논문 리뷰] Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning

Xiongye Xiao, Gengshuo Liu외 7명|arXiv (Cornell University)|2024. 04. 15.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

이 논문은 정보 이론적 계층적 인지(IHTP)를 제안하며, 정보 블로킹 원리를 활용해 보조 모odalities에서 주요 모달리티로 계층적으로 정보를 정제하는 뉴로-인스파이어드 다중모달 학습 모델이다. 이로 인해 압축되고 정보가 풍부한 잠재 표현을 달성한다. ITHP는 MUStARD, CMU-MOSI, CMU-MOSEI에서 최신 기술(SOTA)을 능가하며, CMU-MOSI에서 다중모달 감성 분류 작업에서 모든 지표에서 인간 수준 성능을 초월한다.

ABSTRACT

Integrating and processing information from various sources or modalities are critical for obtaining a comprehensive and accurate perception of the real world in autonomous systems and cyber-physical systems. Drawing inspiration from neuroscience, we develop the Information-Theoretic Hierarchical Perception (ITHP) model, which utilizes the concept of information bottleneck. Different from most traditional fusion models that incorporate all modalities identically in neural networks, our model designates a prime modality and regards the remaining modalities as detectors in the information pathway, serving to distill the flow of information. Our proposed perception model focuses on constructing an effective and compact information flow by achieving a balance between the minimization of mutual information between the latent state and the input modal state, and the maximization of mutual information between the latent states and the remaining modal states. This approach leads to compact latent state representations that retain relevant information while minimizing redundancy, thereby substantially enhancing the performance of multimodal representation learning. Experimental evaluations on the MUStARD, CMU-MOSI, and CMU-MOSEI datasets demonstrate that our model consistently distills crucial information in multimodal learning scenarios, outperforming state-of-the-art benchmarks. Remarkably, on the CMU-MOSI dataset, ITHP surpasses human-level performance in the multimodal sentiment binary classification task across all evaluation metrics (i.e., Binary Accuracy, F1 Score, Mean Absolute Error, and Pearson Correlation).

연구 동기 및 목표

• 인간의 뇌에서 관찰되는 계층적이고 피드백 기반의 정보 처리 방식을 모방한 다중모달 인지 모델을 개발하는 것.
• 고차원적이고 상관관계가 높은 다중모달 데이터에 대한 도전에 대비해, 체계적이고 선택적인 정보 융합을 가능하게 하는 것.
• 과도한 정보를 최소화하면서도 작업에 관련된 신호를 유지함으로써 압축되고 정보가 풍부한 잠재 표현을 달성하는 것.
• 정보 흐름을 계층적 과정으로 모델링하고, 한 모달리티를 주요 입력으로 지정하고 나머지를 표현을 정밀화하는 검출기로 기능화하는 것.
• 특히 감성 분석 작업에서 기존 벤치마크를 뛰어넘는 다중모달 표현 학습 성능을 달성하는 것.

제안 방법

• ITHP는 주요 모달리티를 먼저 처리하고, 다른 모달리티들이 잠재 표현을 정밀화하는 데 기여하는 계층적 정보 블로킹(IB) 프레임워크를 사용한다.
• 잠재 상태와 입력 모달 상태 간의 상호정보량을 최소화하고, 잠재 상태 간의 상호정보량을 최대화하는 데 중점을 둔 손실 함수를 최적화한다.
• 잠재 상태는 θk로 표시되는 인코딩 파라미터와 ψk로 표시되는 예측 파라미터를 가진 신경망을 통해 학습되며, 후행 분포를 근사하기 위해 변분 추론을 사용한다.
• 각 계층에서 압축과 예측 정밀도 사이의 균형을 조절하기 위해 라그랑주 승수 β와 γk를 사용한다.
• 샘플 엔트로피(SampEn)와 순차하위모듈 함수 최적화를 통해 모달리티를 순위 매겨 통합에 가장 유용한 정보원을 식별한다.
• 계수 λk와 α를 통해 제1단계 및 이후 단계의 IB 목표를 융합함으로써 작업별 성능과 정보 압축 간의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 기존 융합 방법과 비교해 뇌의 생물학적 모방 계층적 정보 흐름이 다중모달 표현 학습에 어떻게 향상되는가?
• RQ2 보조 모달리티를 검출기로 삼는 주요 모달리티 기반 아키텍처가 다중모달 학습에서 더 높은 성능과 압축성을 달성할 수 있는가?
• RQ3 ITHP 모델이 다중모달 감성 분류에서 인간 수준 성능을 어느 정도 초월하는가?
• RQ4 샘플 엔트로피와 순차하위모듈 순위 매기기가 계층적 융합 파이프라인에서 가장 정보가 풍부한 모달리티를 효과적으로 식별하는가?
• RQ5 상호정보량 최소화와 최대화 간의 균형 조절이 학습된 잠재 표현의 품질에 어떤 영향을 미치는가?

주요 결과

• ITHP는 MUStARD, CMU-MOSI, CMU-MOSEI 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 모든 벤치마크에서 일관된 향상을 보였다.
• CMU-MOSI 데이터셋에서 ITHP는 다중모달 감성 이진 분류에서 인간 수준 성능을 초월했으며, 모든 지표에서 인간을 뛰어넘었다: 이진 정확도, F1 스코어, 평균 절대 오차, 피어슨 상관계수.
• 모델의 잠재 표현은 상호정보량 최소화와 최대화 간의 최적 균형으로 인해 상당히 더 압축되고 정보가 풍부하다.
• 샘플 엔트로피와 순차하위모듈 순위 매기기가 효과적으로 가장 정보가 풍부한 모달리티를 식별했으며, 감성 분석 작업에서 음성 및 텍스트 신호가 상위 기여 요소로 나타났다.
• 계층적 설계 덕분에 관련 신호의 분리와 노이즈 억제가 향상되어 고차원적이고 상관관계가 높은 입력 조건에서도 견고한 성능을 발휘했다.
• 제거 실험 결과, 계층적 구조와 정보 블로킹 구성 요소가 성능 향상에 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 악화되었다.