[논문 리뷰] RegBN: Batch Normalization of Multimodal Data with Regularization

Morteza Ghahremani, Christian Wachinger|arXiv (Cornell University)|2023. 10. 01.

Music and Audio ProcessingComputer Science인용 수 3

한 줄 요약

RegBN은 이질적인 다중모态 간의 혼동 요인과 종속성을 줄이기 위해 프로베니우스 노름을 정규화 기반으로 사용하는 다중모달 데이터를 위한 새로운 배치 정규화 방법이다. 학습 가능한 파rameter 없이 특징의 독립성을 강제함으로써 다양한 아키텍처와 데이터셋에서 훈련 안정성과 성능을 향상시키며, 최소한의 하이퍼파rameter 튜닝으로도 다중모달 학습 과제에서 일관된 성능 향상을 보여준다.

ABSTRACT

Recent years have witnessed a surge of interest in integrating high-dimensional data captured by multisource sensors, driven by the impressive success of neural networks in the integration of multimodal data. However, the integration of heterogeneous multimodal data poses a significant challenge, as confounding effects and dependencies among such heterogeneous data sources introduce unwanted variability and bias, leading to suboptimal performance of multimodal models. Therefore, it becomes crucial to normalize the low- or high-level features extracted from data modalities before their fusion takes place. This paper introduces a novel approach for the normalization of multimodal data, called RegBN, that incorporates regularization. RegBN uses the Frobenius norm as a regularizer term to address the side effects of confounders and underlying dependencies among different data sources. The proposed method generalizes well across multiple modalities and eliminates the need for learnable parameters, simplifying training and inference. We validate the effectiveness of RegBN on eight databases from five research areas, encompassing diverse modalities such as language, audio, image, video, depth, tabular, and 3D MRI. The proposed method demonstrates broad applicability across different architectures such as multilayer perceptrons, convolutional neural networks, and vision transformers, enabling effective normalization of both low- and high-level features in multimodal neural networks. RegBN is available at \url{https://github.com/mogvision/regbn}.

연구 동기 및 목표

• 다중모달 신경망에서 성능 저하와 훈련 불안정성을 초래하는 혼동 요인과 모달 간 종속성을 해결하기 위해.
• 이미지, 텍스트, 오디오, 영상, 3D MRI와 같은 다양한 모달리티에서 저수준 및 고수준 특징을 포괄하는 파라미터 없는 정규화 기법을 개발하기 위해.
• 융합 이전에 모달 간 통계적 독립성을 촉진함으로써 다중모달 융합의 신뢰성과 강건성을 향상시키기 위해.
• MLP, CNN, 비전 트랜스포머를 포함한 다양한 신경망 아키텍처에서 효과적인 정규화를 가능하게 하기 위해.
• 혼동 요인과 모달 불균형에 민감한 메타데이터 기반 정규화 방법에 대한 의존도를 줄이기 위해.

제안 방법

• RegBN은 쌍으로 이루어진 모달리티 간의 특징 공분산 행렬에 프로베니우스 노름 기반 정규화 기반을 적용하여 교차 모달 상관관계를 최소화함으로써 독립성을 촉진한다.
• 표준 배치 정규화와 유사하게 배치 통계를 사용해 특징를 재중심화하고 재스케일링하지만, 추가로 정규화 항목이 포함되어 있다.
• 정규화 항목은 L-BFGS를 통해 최적의 스케일링 인자 λ₊를 찾기 위해 최적화되며, 이는 모달 간 교차공분산 행렬의 프로베니우스 노름을 최소화하는 데 목적이 있다.
• RegBN은 융합 이전에 경량이며 미분 가능한 레이어로 적용되며, 입력이 상호 독립적이지 않은 한 네트워크 내에서 여러 번 삽입될 수 있다.
• 학습 가능한 파rameter가 필요로 하지 않아 훈련과 추론을 단순화하면서도 기존 아키텍처와의 호환성을 유지한다.
• 작은 배치 크기(≥40)에서도 효과적이며, 낮은 배치 크기에서 불안정성이 발생하는 MDN과는 대비되어 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 파라미터 없는 정규화 기법이 다중모달 신경망에서 혼동 요인과 모달 간 종속성을 효과적으로 줄일 수 있는가?
• RQ2 RegBN은 이미지, 텍스트, 오디오, 영상, 깊이, 표본 데이터, 3D MRI를 포함한 다양한 데이터 모달리티에서 어떻게 성능을 발휘하는가?
• RQ3 표준 배치 정규화 및 메타데이터 기반 정규화 기법과 비교해 RegBN이 훈련 안정성과 모델 정확도를 어느 정도 향상시키는가?
• RQ4 학습률, L-BFGS의 최대 반복 수 등과 같은 하이퍼파rameter 설정이 RegBN의 다양한 환경에서 최적의 성능을 내는 데 어떤 영향을 미치는가?
• RQ5 MLP, CNN, 비전 트랜스포머와 같은 다양한 신경망 아키텍처에 대해 RegBN을 효과적으로 적용할 수 있는가?

주요 결과

• RegBN은 건강, 정서 컴퓨팅, 멀티미디어를 포함한 다섯 가지 연구 분야에서 여덟 개의 다양한 데이터베이스에서 최신 기술 수준의 성능을 달성했다.
• CMU-MOSI 데이터셋에서 MulT와 함께 사용했을 때, 학습률 1.0과 L-BFGS의 최대 반복 수 30을 사용한 결과, 이진 정확도 81.8%와 5클래스 정확도 42.3%를 기록했다.
• 작은 배치 크기에서도 뛰어난 강건성을 보였으며, MDN이 실패하는 상황에서도 성능를 유지했고, 배치 크기 ≥50에서 최적의 성능를 기록했다.
• 기본 정규화 기법과 메타데이터 기반 방법보다 RegBN이 혼동 요인을 줄이고 특징의 독립성을 향상시키는 데 뛰어난 성능를 보였다.
• 제거 분석을 통해 프로베니우스 노름 정규화 기반의 효과적인 모델 일반화 및 수렴 속도 향상이 모든 테스트된 아키텍처에서 확인되었다.
• 아키텍처 수정 없이도 조기, 중기, 후기 융합 전반에 걸쳐 RegBN이 효과적으로 작용하였다.