[논문 리뷰] N24News: A New Dataset for Multimodal News Classification

Zhen Wang, Shan Xu외 2명|arXiv (Cornell University)|2021. 08. 30.

Topic Modeling참고 문헌 23인용 수 8

한 줄 요약

이 논문은 뉴욕타임스에서 유래한 24개 카테고리에 걸쳐 총 60,000개의 이미지-텍스트 쌍을 포함하는 대규모 다중모달 뉴스 데이터셋인 N24News를 소개한다. 다중임무 다중모달 네트워크를 사용하여, 텍스트와 이미지 특징을 융합함으로써 텍스트 전용 모델 대비 분류 정확도를 최대 8.11% 향상시켰으며, 이는 뉴스 분류에서 다중모달 융합의 가치를 입증한다.

ABSTRACT

Current news datasets merely focus on text features on the news and rarely leverage the feature of images, excluding numerous essential features for news classification. In this paper, we propose a new dataset, N24News, which is generated from New York Times with 24 categories and contains both text and image information in each news. We use a multitask multimodal method and the experimental results show multimodal news classification performs better than text-only news classification. Depending on the length of the text, the classification accuracy can be increased by up to 8.11%. Our research reveals the relationship between the performance of a multimodal classifier and its sub-classifiers, and also the possible improvements when applying multimodal in news classification. N24News is shown to have great potential to prompt the multimodal news studies.

연구 동기 및 목표

• 텍스트 및 이미지 특징을 모두 포함하는 공개 가능하고 대규모의 다중모달 뉴스 데이터셋이 부족한 문제를 해결하기 위해.
• 시각적 및 텍스트적 특징을 융합할 경우, 텍스트 전용 접근 방식을 초월해 뉴스 분류 성능이 향상되는지 조사하기 위해.
• 다중모달 분류기 성능과 그 하위 분류기(텍스트 및 이미지 모델) 간의 관계를 분석하기 위해.
• 실제 뉴스 분류 작업에서 다중모달 융합 기법의 효과성을 평가하기 위해.
• 향후 다중모달 뉴스 이해 분야의 연구를 위한 기준 데이터셋과 기준 모델을 제공하기 위해.

제안 방법

• N24News 데이터셋은 뉴욕타임스 아카이브에서 유래하여, 균형 잡힌 이미지-텍스트 쌍을 포함하는 24개의 뉴스 카테고리로 구성된다.
• 공유 및 모odal 전용 브랜치를 갖춘 다중임무 다중모달 신경망을 제안하여, 텍스트 및 이미지 입력을 별도로 처리한 후 융합한다.
• 미리 훈련된 텍스트(예: BERT 유사) 및 비전(예: ViT 또는 ResNet) 인코더의 깊이 특징을 연결하여 특징 융합을 수행한다.
• 텍스트, 이미지, 다중모달 헤드에서의 공동 최적화를 통해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 가중치 합산 및 어텐션 기반 융합과 같은 다양한 융합 전략을 평가하여 성능을 비교한다.
• 24개 클래스 분류 작업에서 표준 정확도 지표를 사용하여 텍스트 전용 기준 모델과의 성능을 벤치마크로 측정한다.

실험 결과

연구 질문

• RQ1 텍스트 전용 모델 대비 다중모달 학습이 뉴스 분류 정확도를 크게 향상시킬 수 있는가?
• RQ2 다중모달 분류기의 성능은 개별 텍스트 및 이미지 하위 분류기의 성능과 어떻게 관련이 있는가?
• RQ3 뉴스 분류에서 이미지 및 텍스트 특징을 융합하기 위한 최적의 전략은 무엇인가?
• RQ4 시각적 특징이 유사한 뉴스 카테고리 간의 구분에 얼마나 기여하는가?
• RQ5 데이터셋의 균형과 모달의 품질이 다중모달 모델의 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 다중모달 접근 방식은 텍스트 전용 모델 대비 최대 8.11% 높은 분류 정확도를 달성하여, 뉴스 분류에서 시각적 특징의 가치를 입증한다.
• 다중모달 분류기의 성능은 개별 하위 분류기의 성능과 강하게 상관되어 있으며, 이는 융합 성공을 위해 강력한 모달 전용 모델이 필수적임을 시사한다.
• 모달 전용 정규화를 적용한 특징 연결 전략이 단순한 초기 또는 후기 융합 전략보다 평가된 설정에서 더 뛰어난 성능을 보였다.
• 스포츠, 여행, 요리 등 애매하거나 시각적으로 풍부한 카테고리에서는 이미지가 중요한 맥락을 제공하여 모델 성능 향상이 두드러졌다.
• 오류 분석 결과, 텍스트만으로는 애매하거나 오해의 소지가 있는 경우에 다중모달 모델이 잘못 분류를 줄이는 데 기여함을 확인하였다.
• N24News 데이터셋은 균형 잡힌 분포와 실제 세계적 관련성을 지녀, 향후 다중모달 뉴스 연구를 위한 타당한 기준 데이터셋으로 입증되었다.