[論文レビュー] Mapping Images to Sentiment Adjective Noun Pairs with Factorized Neural Nets

Takuya Narihira, Damian Borth+3 more|arXiv (Cornell University)|Nov 21, 2015

Multimodal Machine Learning Applications参考文献 27被引用数 10

ひとこと要約

この論文は、感情を含む形容詞と名詞のペア（ANP）を事前に学習し、それらを組み合わせることで、未観測のANPに対する頑健な一般化と、ノイズの多いウェブアノテーションデータにおける性能向上を実現する因子分解型畳み込みニューラルネットワーク（Fact-Net）を提案する。モデルは、ゼロショットANP検索において、標準的なANP分類器および画像キャプションモデルを上回り、学習された意味的相関を活用してANP語彙を拡張する。

ABSTRACT

We consider the visual sentiment task of mapping an image to an adjective noun pair (ANP) such as "cute baby". To capture the two-factor structure of our ANP semantics as well as to overcome annotation noise and ambiguity, we propose a novel factorized CNN model which learns separate representations for adjectives and nouns but optimizes the classification performance over their product. Our experiments on the publicly available SentiBank dataset show that our model significantly outperforms not only independent ANP classifiers on unseen ANPs and on retrieving images of novel ANPs, but also image captioning models which capture word semantics from co-occurrence of natural text; the latter turn out to be surprisingly poor at capturing the sentiment evoked by pure visual experience. That is, our factorized ANP CNN not only trains better from noisy labels, generalizes better to new images, but can also expands the ANP vocabulary on its own.

研究の動機と目的

• ノイズの多いウェブソースのアノテーションを用いて、画像を『かわいらしい赤ちゃん』のような感情を含む形容詞と名詞のペア（ANP）にマッピングする課題に対処すること。
• 未観測のANPへの一般化に失敗したり、意味的曖昧さやアノテーションのノイズに対処できない標準的なANP分類器の限界を克服すること。
• 形容詞と名詞に対して構造的かつ分離された表現を学習するとともに、組み合わせたANP分類性能を最適化するモデルを開発すること。
• 形容詞と名詞間の意味的相関を活用することで、新しいANPへのゼロショット一般化を可能にすること。
• 自然言語共起性から学習するが、視覚的感情をうまく捉えられない画像キャプションモデルよりも優れた性能を発揮すること。

提案手法

• モデルは、形容詞（A）と名詞（N）のそれぞれを別々に学習する2つのサブネットワークを備えた因子分解型CNNアーキテクチャを採用する。
• 最終的なANP予測は、AサブネットとNサブネットの潜在表現の積として計算され、結合された意味的空間をモデル化する双線形相互作用を形成する。
• モデルは、ANP分類タスクに対してソフトマックス交差エントロピー損失を用いてエンドツーエンドで訓練され、個々のコンponentではなく、完全なANP出力を最適化する。
• アーキテクチャは、特徴抽出や生成的モデリングに用いられる従来の双線形CNNとは根本的に異なり、識別的かつ非線形である。
• モデルはSentiBankデータセット上で評価され、検索と分類の指標を用いて、学習済みと未学習のANPにおける性能を比較する。
• アノテーションが誤りまたは曖昧であっても、類似した意味的特徴を持つ画像を検索可能であるため、コンSENSUS再タグ付けと語彙拡張が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いウェブソースの画像アノテーションで学習した因子分解型ディープラーニングモデルは、未観測の形容詞と名詞のペア（ANP）に一般化できるか？
• RQ2 ゼロショットANP検索において、因子分解型ANP分類器の性能は、標準的なANP分類器および画像キャプションモデルと比べてどうか？
• RQ3 形容詞と名詞間の意味的相関は、視覚的感情分析における一般化性能とノイズ耐性をどの程度向上させるか？
• RQ4 ユーザーのタグが誤りまたは曖昧であっても、訓練データに存在しないANPの画像を効果的に検索できるか？
• RQ5 モデルの一般化能力は、学習データ量よりも意味的構造に強く相関しているか？

主な発見

• Fact-Netは、未学習のANPにおいて、標準的なANP-netベースラインを顕著に上回り、トップ10精度のギャップが最大0.4に達するなど、強いゼロショット一般化性能を示している。
• 未学習のANPにおいて、Fork-Netよりも著しく優れた検索品質を達成しており、より正確な名詞の一致と、より多様な形容詞の表現が得られている。
• ユーザーのタグが誤っている場合でも、『ひどい赤ちゃん』や『ひどい空』のようなANPの画像を正しく検索でき、アノテーションノイズに対する耐性が確認された。
• 『美しい男性』のようなANPに対しても、ユーザーのタグが『熱い女の子』や『冷たいビール』であっても、意味的に一貫した画像を正しく検索でき、コンセンサス再タグ付け能力が有効に機能している。
• Fact-Netの性能向上は、学習データ量の影響ではなく、学習された意味的構造に起因しており、精度とデータ露出量の間の相関係数が最小0.05にとどまるため、一般化は構造的学習に起因している。
• 画像キャプションモデルは、自然言語共起性から学習しているが、視覚的感情タスクでは性能が著しく低く、ANPに特化したモデリングの必要性が浮き彫りになった。