[論文レビュー] BreakingNews: Article Annotation by Image and Text Processing

Arnau Ramisa, Fei Yan+2 more|arXiv (Cornell University)|Mar 23, 2016

Multimodal Machine Learning Applications参考文献 70被引用数 17

ひとこと要約

本稿では、約10万件のニュース記事と画像、テキスト、豊富なメタデータを備えた大規模データセット『BreakingNews』を紹介し、ソース検出、位置特定、人気予測、記事の図版作成といったマルチモーダルタスクのためのディープラーニング手法を提案する。本研究では、タスク間で共有される特徴を有するアダプティブなCNNを採用し、図版作成にはディープ・カノニカル相関分析（DCCA）を、位置特定にはグレートサークル距離に基づく損失関数を用いる。強力な結果を達成しており、特にソース検出と位置特定の分野で顕著な成果を示しているが、画像とテキストの対応が弱いため、キャプション生成には課題が残っている。

ABSTRACT

Building upon recent Deep Neural Network architectures, current approaches lying in the intersection of computer vision and natural language processing have achieved unprecedented breakthroughs in tasks like automatic captioning or image retrieval. Most of these learning methods, though, rely on large training sets of images associated with human annotations that specifically describe the visual content. In this paper we propose to go a step further and explore the more complex cases where textual descriptions are loosely related to the images. We focus on the particular domain of News articles in which the textual content often expresses connotative and ambiguous relations that are only suggested but not directly inferred from images. We introduce new deep learning methods that address source detection, popularity prediction, article illustration and geolocation of articles. An adaptive CNN architecture is proposed, that shares most of the structure for all the tasks, and is suitable for multitask and transfer learning. Deep Canonical Correlation Analysis is deployed for article illustration, and a new loss function based on Great Circle Distance is proposed for geolocation. Furthermore, we present BreakingNews, a novel dataset with approximately 100K news articles including images, text and captions, and enriched with heterogeneous meta-data (such as GPS coordinates and popularity metrics). We show this dataset to be appropriate to explore all aforementioned problems, for which we provide a baseline performance using various Deep Learning architectures, and different representations of the textual and visual features. We report very promising results and bring to light several limitations of current state-of-the-art in this kind of domain, which we hope will help spur progress in the field.

研究の動機と目的

• ニュース記事における画像とテキストの関係が弱く、テキストが比喩的で画像からは直接的に読み取れないという課題に対処すること。
• 多様なマルチモーダルニュースタスクにわたるマルチタスク学習およびトランスファー学習を可能にする統合的ディープラーニングフレームワークの開発。
• 標準的な画像キャプションを超える視覚言語理解の研究を支援する、大規模かつ豊富にアノテートされたベンチマークデータセット（BreakingNews）の構築。
• 視覚的・言語的相関が微細な複雑な現実世界のニュース記事理解タスクにおけるディープラーニングモデルの性能を評価すること。
• ニュースメディアにおける関係が曖昧な画像・テキストペアに適用した際の、現在の最先端モデルの限界を特定すること。

提案手法

• 複数のタスク（ソース検出、位置特定、人気予測、図版作成）間で大部分の層を共有するアダプティブなCNNアーキテクチャを提案。各タスクごとに最終層のみを微調整。
• 球面上のGPS座標回帰を改善するために、グレートサークル距離に基づく新しい損失関数を導入。
• 記事の図版作成のため、視覚的および言語的表現をDCCA（ディープ・カノニカル相関分析）で統合し、モダリティ間の共有表現を学習。
• LSTMネットワークを用いて、視覚的特徴（VGG19、Places）と言語的特徴（Word2Vec平均）を統合し、キャプションを生成。
• 単一タスク、マルチタスク、トランスファー学習の戦略を併用。最終全結合層の学習率を1/10にスケーリングすることで、共適応を軽減。
• 複数の視覚的特徴抽出器（VGG19、Places）と言語的特徴（Word2Vec）を組み合わせ、キャプション生成および分類タスクの入力表現を豊かにした。

実験結果

リサーチクエスチョン

• RQ1 弱く対応する画像・テキストペアを有するニュース記事において、共有されたディープCNNアーキテクチャが複数のマルチモーダルタスクを効果的に処理できるか？
• RQ2 グレートサークル距離に基づく損失関数は、標準的な回帰損失関数と比較して、位置特定の精度をどのように向上させるか？
• RQ3 トランスファー学習は、人気予測やソース検出といったリソースが限られたタスクにおいて、どの程度性能を向上させるか？
• RQ4 最先端のキャプション生成モデルがニュース画像では性能を発揮できない理由は何か？このギャップを引き起こす要因は何か？
• RQ5 固定特徴とエンドツーエンド微調整特徴の両方を用いた融合戦略は、関係が曖昧な状況下でのキャプション生成品質にどのように影響するか？

主な発見

• 単一タスク学習が大多数のタスクで最高のパフォーマンスを示し、マルチタスク学習を上回った。これは、提案されたタスク間での共有表現学習における相性の悪さを示唆している。
• トランスファー学習は、マルチタスク学習を常に上回り、特にソース検出から人気予測へのトランスファーにおいて、単一タスク学習と同等またはそれを上回る性能を示した。
• 位置特定とソース検出が最も高い結果を示し、グレートサークル距離損失により球面上での正確なGPS座標予測が可能になった。
• キャプション生成のパフォーマンスは依然として低く（BLEU-1: 19.6、METEOR: 5.3）あり、ニュースコンテンツにおける高次元で抽象的かつ間接的な画像・テキスト関係が大きな課題であることを示している。
• CNN特徴のエンドツーエンド微調整はキャプション生成の結果を向上させず、事前学習済みの視覚的特徴がこのタスクにおいてすでに最適である可能性を示唆している。
• 約10万件の記事と多様なメタデータ（GPS、センチメント、トピック）を備えた『BreakingNews』データセットは、ニュースメディアにおける視覚言語理解分野の今後の研究に向けた強固なベンチマークを提供する。