[논문 리뷰] MMChat: Multi-Modal Chat Dataset on Social Media

Yinhe Zheng, Guanyi Chen외 2명|arXiv (Cornell University)|2021. 08. 16.

Multimodal Machine Learning Applications참고 문헌 21인용 수 8

한 줄 요약

이 논문은 실제 소셜 미디어 대화에서 수집한 대규모 중국어 다중모달 대화 데이터셋인 MMChat을 소개한다 (원시 대화 3240만 건, 필터링 후 120.84만 건). 이 데이터셋은 시각적 콘텐츠에서 벗어나 주제가 흐려지는 '희소성' 현상을 반영한다. 저자들은 이미지 특징에 대한 주의 메커니즘 라우팅을 적용한 벤치마크 모델을 제안하여 희소성을 다루었으며, 특히 고품질의 MMChat-hf 서브셋(19.9만 건의 대화)에서 시각적 특징을 통합할 경우 대화 생성 성능 향상이 뚜렷하게 나타났다.

ABSTRACT

Incorporating multi-modal contexts in conversation is important for developing more engaging dialogue systems. In this work, we explore this direction by introducing MMChat: a large-scale Chinese multi-modal dialogue corpus (32.4M raw dialogues and 120.84K filtered dialogues). Unlike previous corpora that are crowd-sourced or collected from fictitious movies, MMChat contains image-grounded dialogues collected from real conversations on social media, in which the sparsity issue is observed. Specifically, image-initiated dialogues in common communications may deviate to some non-image-grounded topics as the conversation proceeds. To better investigate this issue, we manually annotate 100K dialogues from MMChat and further filter the corpus accordingly, which yields MMChat-hf. We develop a benchmark model to address the sparsity issue in dialogue generation tasks by adapting the attention routing mechanism on image features. Experiments demonstrate the usefulness of incorporating image features and the effectiveness of handling the sparsity of image features.

연구 동기 및 목표

• 실제 사회적 상호작용에서 발생하는 자연스러운 이미지 기반 주제의 이탈 현상을 반영한 현실적인 실세계 다중모달 대화 데이터셋의 부족 문제를 해결하기 위해.
• 대화의 일부 발화가 시각적 입력에 기반하지 않는 '희소성' 문제를 다중모달 대화 시스템에서 연구하기 위해.
• 인간의 주석을 통해 고품질로 필터링된 데이터셋(MMChat-hf)을 구축하여 다중모달 대화 모델의 신뢰성 있는 평가를 지원하기 위해.
• 이미지 특징의 희소성을 명시적으로 모델링하는 벤치마크 모델을 개발하여 대화 생성 성능 향상에 기여하기 위해.
• 다중모달 프리트레인닝, 중국어 커뮤니케이션의 사회과학적 분석, 대화 시스템 내 편향 및 독성 완화 연구를 가능하게 하기 위해.

제안 방법

• 사용자 개인정보 및 공개성 존중 조건 하에 중국 소셜 미디어 플랫폼에서 원시 대화 세션 3240만 건과 이미지 841만 장을 수집하였다.
• 자동 필터링 파이프라인을 적용하여 혼란스럽거나 모욕적이거나 관련 없는 대화 및 이미지를 제거하여 MMChat(120.84만 건의 대화, 204.32만 장의 이미지)를 도출하였다.
• 고품질 주석을 위해 MMChat에서 10만 건의 대화를 선별하여 인간 주석을 통해 MMChat-hf(19.9만 건의 대화, 52.24만 장의 이미지)를 생성하였으며, 텍스트와 이미지 간의 높은 관련성을 확보하였다.
• 각 이미지의 시각적 맥락을 풍부하게 하기 위해 사전 학습된 이미지 캡셔닝 모델을 통해 이미지 캡션과 객체 레이블을 공개하였다.
• 이미지 특징의 희소성을 효과적으로 다루기 위해 주의 라우팅 메커니즘을 적용한 벤치마크 모델인 Seq2Seq+IMG를 제안하였다.
• MMChat 및 MMChat-hf에서 모델을 훈련 및 평가하였으며, 텍스트 전용 벤치마크 및 사전 추출된 이미지 특징을 사용하는 모델(Seq2Seq+PIMG)과의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 실제 소셜 미디어 대화에서, 초반 시각적 자극에서 주제가 점점 벗어나는 이미지 희소성 현상은 얼마나 퍼져 있는가?
• RQ2 실제로 희소한 다중모달 환경에서 시각적 특징을 통합할 경우, 개방형 대화 생성 성능에 어느 정도 향상이 이루어지는가?
• RQ3 모든 이미지 특징을 동일하게 취급하는 모델 대비, 이미지 특징의 희소성을 명시적으로 모델링하는 모델이 성능에서 뛰어나게 되는가?
• RQ4 대화 및 이미지의 인간 기반 필터링이 다중모달 대화 생성에서 모델 성능과 다양성에 어떤 영향을 미치는가?
• RQ5 데이터셋 품질(원시 대비 필터링된)이 대화 생성 과제에서 BLEU 점수와 다양성 지표(분산도)에 어떤 영향을 미치는가?

주요 결과

• 제안된 Seq2Seq+IMG 모델은 텍스트 전용 Seq2Seq 벤치마크 대비 MMChat-hf 데이터셋에서 BLEU-4 점수에 대해 54.84%의 상대적 향상을 달성하였다.
• MMChat 데이터셋에서는 기준 모델 대비 BLEU-4 점수에서 24.97%의 상대적 향상을 기록하였으며, 이는 낮은 필터링 수준에서도 시각적 특징이 대화 생성에 기여함을 보여준다.
• 인간이 필터링한 MMChat-hf 서브셋은 원시 MMChat보다 항상 높은 BLEU 및 분산도 점수를 기록하였으며, 이는 데이터 품질이 모델 성능에 상당한 영향을 미친다는 것을 시사한다.
• 주의 라우팅 메커니즘이 희소성을 효과적으로 처리하였으며, Seq2Seq+IMG가 Seq2Seq+PIMG를 능가하는 성능을 보여, 희소성의 명시적 모델링이 결과 향상에 기여함을 입증하였다.
• BLEU 점수 향상에도 불구하고 다양성 향상(분산도)은 제한적이었으며, 이는 시각적 맥락이 응답 생성에 제약을 가하는 경향이 있기 때문일 것이다.
• 데이터셋 배포 시 원시 대화 및 이미지의 URL만 제공되어 개인정보 보호를 유지하며, 엄격한 조건 하에 학술적 이용이 가능하도록 하였다.