[論文レビュー] Learning Concept Taxonomies from Multi-modal Data

Hao Zhang, Zhiting Hu+4 more|arXiv (Cornell University)|Jun 29, 2016

Video Analysis and Summarization参考文献 30被引用数 3

ひとこと要約

本論文では、テキストと画像の分散表現を統合的に活用して、スクラッチからハイパニム分類体系を自動的に誘導する、判別的に学習された確率的ベイジアンモデルを提案する。レイヤーごとの重み付き統合により、視覚的および言語的特徴を統合することで、ImageNetの階層において、先行手法と比較してF1スコアで2倍の向上を達成した。これは、分類体系構築におけるマルチモーダル学習の有効性を示している。

ABSTRACT

We study the problem of automatically building hypernym taxonomies from textual and visual data. Previous works in taxonomy induction generally ignore the increasingly prominent visual data, which encode important perceptual semantics. Instead, we propose a probabilistic model for taxonomy induction by jointly leveraging text and images. To avoid hand-crafted feature engineering, we design end-to-end features based on distributed representations of images and words. The model is discriminatively trained given a small set of existing ontologies and is capable of building full taxonomies from scratch for a collection of unseen conceptual label items with associated images. We evaluate our model and features on the WordNet hierarchies, where our system outperforms previous approaches by a large gap.

研究の動機と目的

• 既存の分類体系誘導手法がテキストデータに依存し、豊かな視覚的意味を無視するという限界を是正すること。
• テキストおよび視覚的特徴を統合的に活用する統合的確率的モデルを構築し、自動的な分類体系構築を実現すること。
• 手作業による特徴抽出に依存せず、語と画像のエンドツーエンド分散表現を用いること。
• 判別的に学習可能な少数の既存オントロジーのみを用いて、未観測のラベルアイテムと関連する画像から、完全な分類体系を構築できるようにすること。
• 実世界の階層（例：ImageNet）におけるモデルの性能を評価し、視覚的データの補完的価値を示すこと。

提案手法

• 本モデルは、語のためのGloVeと、画像のための事前学習済み畳み込みニューラルネットワーク（例：VGG-16、CNN-128）を用い、コンactかつ汎用的な特徴としての分散表現を採用する。
• マルチモーダル特徴に基づいて、概念間のis-a関係の尤度をモデル化する確率的ベイジアンフレームワークを構築する。
• 分類体系階層の異なるレベルで特徴の重要性を適応的に割り当てるために、レイヤーごとの重みベクトル（w_l）を用いる。
• 主な特徴には、語-語関係（S-T1, PC-T1）、画像-画像類似度（S-V1, PC-V1）、および親子の意味的整合性が含まれる。
• 少数の既存オントロジーを用いて判別的に学習することで、未学習のラベルコレクションに対してもゼロショット分類体系誘導を可能にする。
• レイヤーごとの重みの正規化により特徴の重要度を分析した結果、視覚的特徴は階層のより深い、より具体的なレベルでより重要性を発揮することが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 視覚的データを用いることで、テキストのみの手法と比較して、自動分類体系誘導の性能が顕著に向上するか？
• RQ2 語と画像の分散表現を、統一された確率的フレームワーク内で効果的に統合する方法は何か？
• RQ3 意味的階層の異なるレベルにおいて、視覚的特徴と言語的特徴の重要度はどのように変化するか？
• RQ4 少数の既存オントロジーから学習したモデルが、未観測のラベルコレクションに対して、スクラッチから完全な分類体系を構築できるか？
• RQ5 視覚的類似度と言語的パターンの、ハイパニム-ハイポニム関係の同定に果たす相対的寄与度は何か？

主な発見

• 提案手法は、先行手法と比較して分類体系構築タスクにおいてF1スコアが2倍向上し、F1スコアは0.66（先行手法の最良値は0.33）を達成した。
• 分類体系構築およびアンセストル-F1タスクの両方で、既存のベースラインを上回り、評価指標全体にわたる強力な一般化性能を示した。
• 視覚的特徴（S-V1, PC-V1）を有効化すると顕著な性能向上が得られ、すべての視覚的特徴を組み込むとアンセストル-F1スコアが0.42から0.52に上昇した。
• レイヤーごとの重み適応により性能が向上し、視覚的特徴は階層のより深い、より具体的なレベルでより強く関連しているのに対し、言語的特徴はより上位でより抽象的なレベルで重要性を示した。
• VGG-16のCNNは、CNN-128モデルと比較してアンセストル-F1スコアで僅か0.01の向上に留まり、この設定では高次元特徴が得る利益が次第に小さくなる傾向を示した。
• 定性的な分析により、モデルは大多数の正例リンクを正しく予測し、視覚的および言語的手がかりが一致する場合に特に妥当な根拠で誤検出や欠落リンクを特定していることが確認された。