[論文レビュー] N24News: A New Dataset for Multimodal News Classification

Zhen Wang, Shan Xu+2 more|arXiv (Cornell University)|Aug 30, 2021

Topic Modeling参考文献 23被引用数 8

ひとこと要約

本稿では、ニューヨーク・タイムズのアーカイブから収集された24のカテゴリにまたがる60,000組の画像・テキストペアを含む大規模なマルチモーダルニュースデータセットN24Newsを紹介する。マルチタスクマルチモーダルネットワークを用いて、テキストと画像特徴を統合することで、テキストのみのモデルに比べて分類精度が最大8.11%向上することを実証した。これは、ニュース分類におけるマルチモーダル統合の価値を示している。

ABSTRACT

Current news datasets merely focus on text features on the news and rarely leverage the feature of images, excluding numerous essential features for news classification. In this paper, we propose a new dataset, N24News, which is generated from New York Times with 24 categories and contains both text and image information in each news. We use a multitask multimodal method and the experimental results show multimodal news classification performs better than text-only news classification. Depending on the length of the text, the classification accuracy can be increased by up to 8.11%. Our research reveals the relationship between the performance of a multimodal classifier and its sub-classifiers, and also the possible improvements when applying multimodal in news classification. N24News is shown to have great potential to prompt the multimodal news studies.

研究の動機と目的

• テキストと画像の両方の特徴を含む、公開可能で大規模なマルチモーダルニュースデータセットが不足しているという問題に対処すること。
• 視覚的および文書的特徴を統合することで、テキストのみのアプローチを上回るニュース分類性能が向上するかどうかを調査すること。
• マルチモーダル分類器の性能とその部分分類器（テキストおよび画像モデル）との関係を分析すること。
• 実世界のニュース分類タスクにおけるマルチモーダル統合手法の有効性を評価すること。
• 今後のマルチモーダルニュース理解分野の研究のためのベンチマークデータセットとベースラインモデルを提供すること。

提案手法

• N24Newsデータセットは、ニューヨーク・タイムズのアーカイブから構築され、バランスの取れた画像・テキストペアを含む24のニュースカテゴリに分類されたものである。
• 共有およびモality固有のブランチが別々にテキストおよび画像入力を処理し、その後統合するマルチタスクマルチモーダルニューラルネットワークを提案する。
• 事前学習済みのテキスト（例：BERTに類似）およびビジョン（例：ViTまたはResNet）エンコーダーからの深層特徴を連結することで、特徴の統合を実施する。
• テキスト、画像、マルチモーダルヘッドのすべてを同時に最適化するため、クロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• 重み付き和やアテンションベースの統合など、さまざまな統合戦略を評価し、性能を比較する。
• 24クラス分類タスクにおける標準的な正解率指標を用いて、テキストのみのベースラインと比較してモデルの性能をベンチマーク化する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル学習は、テキストのみのモデルに比べて、著しくニュース分類精度を向上させることができるか？
• RQ2 マルチモーダル分類器の性能は、その個々のテキストおよび画像サブ分類器の性能とどのように関係しているか？
• RQ3 ニュース分類において、画像とテキスト特徴を統合する最適な戦略は何か？
• RQ4 視覚的特徴は、類似したニュースカテゴリを区別するためにどの程度寄与しているか？
• RQ5 データセットのバランスおよびモダリティの品質は、マルチモーダルモデルの一般化性能にどのように影響するか？

主な発見

• 提案されたマルチモーダルアプローチは、テキストのみのモデルに比べ最大8.11%高い分類精度を達成しており、ニュース分類における視覚的特徴の価値を示している。
• マルチモーダル分類器の性能は、その個々のサブ分類器の性能と強く相関しており、統合の成功には強固なモダリティ固有のモデルが不可欠であることが示された。
• モダリティ固有の正規化を施した特徴連結は、単純な早期または後期統合戦略に比べ、評価された設定で優れた性能を示した。
• モデルは、視覚的文脈が重要な「スポーツ」「旅行」「料理」などの曖昧または視覚的に豊かなカテゴリで顕著な向上を示した。
• 誤差解析の結果、テキストのみでは曖昧または誤解を招く場合に、マルチモーダルモデルが誤分類を低減することが明らかになった。
• N24Newsデータセットは、バランスの取れた分布と実世界の関連性を備えており、今後のマルチモーダルニュース研究のための有効なベンチマークであることが示された。