[논문 리뷰] Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions

T. Q. Nguyen, Xiaobao Wu외 4명|arXiv (Cornell University)|2022. 11. 07.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 논문은 교차 모달 표현을 향상시켜 리뷰 유용성 예측을 향상시키기 위해 다중모달 상호작용 모듈을 갖춘 적응형 대비 학습 프레임워크를 제안한다. 긍정 및 부정 쌍에 대해 동적으로 가중치를 부여하고 모달리티의 불일치 문제를 해결함으로써, 두 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Modern Review Helpfulness Prediction systems are dependent upon multiple modalities, typically texts and images. Unfortunately, those contemporary approaches pay scarce attention to polish representations of cross-modal relations and tend to suffer from inferior optimization. This might cause harm to model's predictions in numerous cases. To overcome the aforementioned issues, we propose Multimodal Contrastive Learning for Multimodal Review Helpfulness Prediction (MRHP) problem, concentrating on mutual information between input modalities to explicitly elaborate cross-modal relations. In addition, we introduce Adaptive Weighting scheme for our contrastive learning approach in order to increase flexibility in optimization. Lastly, we propose Multimodal Interaction module to address the unalignment nature of multimodal data, thereby assisting the model in producing more reasonable multimodal representations. Experimental results show that our method outperforms prior baselines and achieves state-of-the-art results on two publicly available benchmark datasets for MRHP problem.

연구 동기 및 목표

• 기존의 다중모달 리뷰 유용성 예측 모델이 교차 모달 관계를 충분히 포착하지 못하고 최적화가 비효율적인 데 기인한 한계를 해결한다.
• 대비 학습의 정적인 성격을 개선하기 위해 예측 신뢰도에 기반해 손실 최적화를 더 유연하게 조정할 수 있도록 적응형 가중치 부여 기법을 도입한다.
• 이미지와 텍스트가 완전히 대응하지 않는 등 모달리티의 불일치가 발생할 경우의 부정적 영향을 줄이기 위해 다중모달 상호작용 모듈을 설계하여 교차 모달 표현을 정교화한다.
• 텍스트와 이미지 모달 간의 상호정보를 명시적으로 탐색함으로써 다중모달 리뷰 유용성 예측의 표현 학습을 향상시킨다.
• 다중모달 리뷰 유용성 예측(MRHP) 작업을 위한 공개 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 텍스트와 이미지 모달 간의 상호정보를 명시적으로 모델링하는 대비 학습 목표를 제안하여 교차 모달 표현을 강화한다.
• 예측 점수의 신뢰도 수준에 따라 긍정 및 부정 예측 점수에 대해 다른 벌점(penalty)을 할당하는 적응형 가중치 기법을 도입하여 최적화의 민첩성을 향상시킨다.
• 비일치하는 입력 데이터를 처리하기 위해 다중모달 상호작용 모듈을 설계하여, 전역적 정렬을 강제하는 대신 관련 교차 모달 정렬에 집중할 수 있도록 한다.
• 다중모달 트랜스포머 아키텍처를 활용하여 제품 정보, 리뷰 텍스트, 이미지를 하나의 통합 표현 공간에 함께 인코딩한다.
• 학습된 표현을 기반으로 유용한 리뷰-제품 쌍과 유용하지 않은 쌍을 구분하기 위해 음성 샘플링을 적용한 대비 학습을 적용한다.
• 최종 유용성 점수를 예측하기 위해 회귀 헤드를 사용하여 모델을 피지컬 트레이닝하고, 손실를 적응형 대비 목표를 통해 최적화한다.

실험 결과

연구 질문

• RQ1 텍스트와 이미지 모달 간의 교차 모달 관계를 어떻게 더 잘 포착할 수 있을까? 이를 통해 리뷰 유용성 예측 성능을 향상시킬 수 있는가?
• RQ2 대비 학습에 적응형 가중치 부여 기법을 도입하면 최적화 안정성과 다중모달 학습에서 표현 품질이 향상되는가?
• RQ3 모달리티의 불일치가 다중모달 리뷰 유용성 예측 성능에 얼마나 큰 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ4 대비 학습을 통해 상호정보를 탐색하는 것이 표준 대비 또는 비대비 기반 베이스라인에 비해 성능 향상에 기여하는가?
• RQ5 제안된 프레임워크는 영어 외의 언어로도 일반화 가능하며 표준 MRHP 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 두 개의 공개 MRHP 벤치마크 데이터셋에서 기존 최신 기술 수준의 베이스라인을 초월하여 뛰어난 예측 성능을 보였다.
• 적응형 대비 학습 구성 요소는 최적화의 민감성을 크게 향상시켜 MCR와 같은 모델에서 관찰된 비합리적인 예측을 감소시켰다.
• 다중모달 상호작용 모듈은 모달리티 불일치의 부정적 영향을 효과적으로 줄여 더 강건하고 정확한 다중모달 표현을 만들어냈다.
• 실증 결과는 기존 방법보다 높은 F1 및 AUC 점수를 달성했으며, 특히 모호하거나 신호가 약한 리뷰를 다룰 때 유리함을 보였다.
• 이전 모델이 교차 모달 정렬이 열악하여 실패한 어려운 케이스—예를 들어 표 1의 리뷰 1—에서도 모델은 더 신뢰할 수 있는 예측을 내놓았다.
• 제거 실험 결과 각 구성 요소(적응형 가중치, 상호작용 모듈, 대비 학습)가 성능 향상에 독립적으로 유의미하게 기여하는 것으로 확인되었다.