[논문 리뷰] Improving Multimodal Accuracy Through Modality Pre-training and Attention

Aya Abdelsalam Ismail, Md. Mahmudul Hasan외 1명|arXiv (Cornell University)|2020. 11. 11.

Speech and dialogue systems참고 문헌 45인용 수 14

한 줄 요약

이 논문은 다중모달 학습을 위한 이단계 학습 방식을 제안하며, 감성 분석, 정서 인식, 화자 특성 인식 작업에서 더 단순한 아키텍처를 사용함에도 불구하고 경쟁력 있는 성능을 달성한다. 이는 사전 학습을 통해 각 모달리티(예: 텍스트, 오디오, 비디오) 전용 하위 네트워크를 독립적으로 학습한 후, 모달리티 주의 메커니즘을 사용해 최종 통합 학습 전에 통합하는 방식이다. 주의 메커니즘은 입력 별로 관련성이 높은 모달리티에 대해 동적으로 가중치를 설정함으로써 성능 향상을 이룬다.

ABSTRACT

Training a multimodal network is challenging and it requires complex architectures to achieve reasonable performance. We show that one reason for this phenomena is the difference between the convergence rate of various modalities. We address this by pre-training modality-specific sub-networks in multimodal architectures independently before end-to-end training of the entire network. Furthermore, we show that the addition of an attention mechanism between sub-networks after pre-training helps identify the most important modality during ambiguous scenarios boosting the performance. We demonstrate that by performing these two tricks a simple network can achieve similar performance to a complicated architecture that is significantly more expensive to train on multiple tasks including sentiment analysis, emotion recognition, and speaker trait recognition.

연구 동기 및 목표

• 엔드 투 엔드 다중모달 학습 중 모달리티(텍스트, 오디오, 비디오) 간 수렴 속도의 불균형 문제를 해결하기 위해.
• 복잡하고 비싼 아키텍처에 의존하지 않고도 다중모달 모델 성능을 향상시키기 위해.
• 각 예측 예제에 대해 가장 정보가 많은 모달리티를 식별하는 주의 메커니즘을 사용해 추론 중 동적으로 모달리티 가중치를 설정할 수 있도록 하기 위해.
• 독립적으로 하위 네트워크를 사전 학습하는 것이 내부 모달리티 표현 학습과 전체 정확도 향상에 기여함을 보여주기 위해.
• 기존의 다중모달 융합 방법에 비해 더 설명 가능하고 효율적인 대안을 제공하기 위해.

제안 방법

• 모든 모달리티(텍스트, 오디오, 비디오)에서 독립적으로 모달리티 전용 양방향 LSTMs를 사전 학습하여 융합 이전에 강력한 내부 모달리티 표현을 학습한다.
• 사전 학습 후 최종 소프트맥스 레이어를 제거하고, 각 입력에 대해 마지막 은닉 상태를 모달리티 임베딩으로 사용한다.
• 두 층의 피드포워드 네트워크를 사용해 ReLU 및 소프트맥스 비선형성을 적용하는 가중 가능한 주의 메커니즘을 통해 모달리티를 융합한다.
• 주의 메커니즘은 공식 $ A = \text{softmax}(W_2(\tanh(W_1 H^T + b_1)) + b_2) $ 를 통해 가중치를 계산하며, 여기서 $ H $ 는 모든 모달리티의 연결된 은닉 상태이다.
• 가중된 모달리티 표현을 연결하고, 최종 분류를 위해 완전 연결 레이어와 소프트맥스를 통과시킨다.
• 사전 학습 및 주의 블록 통합 후 전체 네트워크를 엔드 투 엔드로 미세 조정하여 내부 및 상호 모달리티 다이내믹스를 최적화한다.

실험 결과

연구 질문

• RQ1 랜덤 초기화로부터 엔드 투 엔드 학습과 비교해, 독립적으로 모달리티 전용 하위 네트워크를 사전 학습하는 것이 다중모달 분류 정확도를 향상시키는가?
• RQ2 다양한 모달리티 간 충돌이나 모호성이 발생하는 상황에서 동적으로 모달리티를 가중하는 주의 메커니즘이 성능 향상에 기여하는가?
• RQ3 사전 학습과 주의 메커니즘을 적용한 단순한 아키텍처가 더 복잡한 다중모달 모델의 성능을 따라잡거나 초월할 수 있는가?
• RQ4 주의 가중치가 다중모달 이해 작업에서 인간과 유사한 모달리티 우선순위를 어떻게 반영하는가?
• RQ5 이중 단계 학습 전략이 높은 정확도를 유지하면서 학습 시간과 복잡도를 줄이는가?

주요 결과

• 제안된 방법은 감성 분석, 정서 인식, 화자 특성 인식 작업에서 더 복잡한 모델과 경쟁하는 성능을 달성한다.
• 독립적인 하위 네트워크 사전 학습이 각 모달리티가 자체 최적의 수렴 속도로 수렴하도록 해 성능 향상에 기여한다.
• 주의 메커니즘이 모호한 경우(예: 시각적 또는 텍스트적 신호가 오도할 때) 가장 정보가 많은 모달리티를 성공적으로 식별한다.
• POM 데이터셋에서, 자신감 인식 시 모델은 청각 모달리티에 가장 높은 주의 가중치를 할당하여 핵심 신호로 정확히 식별하였다.
• MOSEI 데이터셋에서는 모든 모달리티가 행복을 나타내는 신호를 보일 때, 모델이 유사한 주의 가중치를 할당하여 일관된 다중모달 신호를 반영하였다.
• 빠르게 수렴하는 모달리티(예: 텍스트)에 대한 학습 편향을 줄이고 다중모달 의사결정의 전반적 강건성을 향상시켰다.