[論文レビュー] Going Deeper for Multilingual Visual Sentiment Detection

Brendan Jou, Shih‐Fu Chang|arXiv (Cornell University)|May 30, 2016

Sentiment Analysis and Opinion Mining参考文献 13被引用数 5

ひとこと要約

本稿では、MVSOデータセットの高精度でタグ制限付きの画像サブセットを用いて、最新のGoogLeNetアーキテクチャを採用することで、より高精度な形容詞＋名詞ペア（ANP）検出器を訓練することにより、多言語対応の視覚的センチメント検出を改善する手法を提案する。ノイズの多いメタデータラベルを低減することで、英語のANP検出において最高で59.21％の相対的精度向上を達成した。本研究で開発されたすべてのモデルと画像リストは、研究利用のために公開されている。

ABSTRACT

This technical report details several improvements to the visual concept detector banks built on images from the Multilingual Visual Sentiment Ontology (MVSO). The detector banks are trained to detect a total of 9,918 sentiment-biased visual concepts from six major languages: English, Spanish, Italian, French, German and Chinese. In the original MVSO release, adjective-noun pair (ANP) detectors were trained for the six languages using an AlexNet-styled architecture by fine-tuning from DeepSentiBank. Here, through a more extensive set of experiments, parameter tuning, and training runs, we detail and release higher accuracy models for detecting ANPs across six languages from the same image pool and setting as in the original release using a more modern architecture, GoogLeNet, providing comparable or better performance with reduced network parameter cost. In addition, since the image pool in MVSO can be corrupted by user noise from social interactions, we partitioned out a sub-corpus of MVSO images based on tag-restricted queries for higher fidelity labels. We show that as a result of these higher fidelity labels, higher performing AlexNet-styled ANP detectors can be trained using the tag-restricted image subset as compared to the models in full corpus. We release all these newly trained models for public research use along with the list of tag-restricted images from the MVSO dataset.

研究の動機と目的

• 最新のディープラーニングアーキテクチャを用いて、より高精度なANP検出器を訓練することで、多言語対応の視覚的センチメント検出を向上させること。
• SNSの相互作用に起因するノイズの多いメタデータを除外し、Flickr APIのタグベースクエリによる制限付き画像抽出により、MVSOデータセットのラベル品質を向上させること。
• 強化されたANP検出器バンクと、タグ制限付きの選別済み画像サブセットを公開し、研究利用を可能にすること。
• 6つの主要言語におけるラベル品質の影響がANP検出性能に与える影響を評価すること。
• アーキテクチャの改善とデータのキュレーションが、多言語対応のセンチメント検出に与えるパフォーマンス向上を比較すること。

提案手法

• 元のAlexNet風アーキテクチャの代わりに、パrameterコストを削減しつつ性能を向上させるために、GoogLeNetを微調整してANP検出に適用した。
• SNSの相互作用由来のノイズの多いメタデータを除外し、タグベースのメタデータのみを用いてFlickr APIにクエリを発行することで、タグ制限付きの画像サブセットを生成した。
• 比較評価のため、元のハイブリッドプール（メタデータ＋タグ）と新しいタグプール（タグのみ）の両方の画像サブセット上でANP検出器バンクを訓練した。
• 感情に偏った特徴を事前学習したDeepSentiBankから微調整することで、トランスファー学習を実装した。
• ホールドアウトされたテストセットを用いて、トップ1およびトップ5分類精度を評価し、言語間比較を実施した。
• 重複するテストセット上で両プールの性能を比較することで、ラベル品質の影響を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 GoogLeNetのようなより現代的なディープラーニングアーキテクチャを用いることで、元のAlexNet風モデルと比較してANP検出性能が向上するか？
• RQ2 高精度でタグ制限付きの画像サブセットを用いることで、ANP検出精度がどの程度向上するか？
• RQ3 アーキテクチャの改善とデータのキュレーションを組み合わせることで、多言語対応の視覚的センチメント検出に顕著なパフォーマンス向上が達成できるか？
• RQ4 特に学習例が少ない言語において、性能向上の程度はどのように変化するか？
• RQ5 検出精度の向上は、主にアーキテクチャの改善によるものか、それともラベル品質の向上によるものか？

主な発見

• GoogLeNetベースのANP検出器は、パrameterコストを削減しながらも、元のAlexNet風モデルと同等またはそれ以上の性能を達成した。
• タグ制限付きの画像サブセットを用いることで、英語のANP検出においてトップ1精度がハイブリッドプールモデルと比較して59.21％の相対的向上を達成した。
• 全言語でタグプールで学習した場合の検出性能が向上し、ドイツ語では49.41％、フランス語では35.80％のトップ1精度を達成した。
• ハイブリッドプールテストセットにおける約10％の性能低下は、タグベースのラベルが視覚的コンセプト検出において顕著に信頼性が高いことを示している。
• 交差するテストセットでも、タグプールのANP検出器はハイブリッドプールモデルを上回った。これは、ラベル品質の影響が明確に確認されたことを示している。
• 結果から、ラベルの信頼性が多言語対応の視覚的センチメント検出において極めて重要な要因であり、キュレーション済みデータがモデル性能を顕著に向上させられることを示している。