[論文レビュー] Image-embodied Knowledge Representation Learning

Ruobing Xie, Zhiyuan Liu+2 more|arXiv (Cornell University)|Sep 22, 2016

Multimodal Machine Learning Applications参考文献 13被引用数 11

ひとこと要約

本稿では、神経画像エンコーダーと注目メカニズムを用いてエンティティの画像から得られる視覚的情報を統合することで、知識表現学習を向上させる新規モデル、Image-embodied Knowledge Representation Learning (IKRL) を提案する。実験の結果、知識グラフ補完および三項組分類の両タスクにおいて、ベースライン手法を顕著に上回ることを示し、視覚的情報が知識表現学習の質を向上させることの有効性を裏付けた。

ABSTRACT

Entity images could provide significant visual information for knowledge representation learning. Most conventional methods learn knowledge representations merely from structured triples, ignoring rich visual information extracted from entity images. In this paper, we propose a novel Image-embodied Knowledge Representation Learning model (IKRL), where knowledge representations are learned with both triple facts and images. More specifically, we first construct representations for all images of an entity with a neural image encoder. These image representations are then integrated into an aggregated image-based representation via an attention-based method. We evaluate our IKRL models on knowledge graph completion and triple classification. Experimental results demonstrate that our models outperform all baselines on both tasks, which indicates the significance of visual information for knowledge representations and the capability of our models in learning knowledge representations with images.

研究の動機と目的

• 従来の知識表現学習手法が構造的な三項組に依存し、エンティティの画像から得られる豊富な視覚的情報を無視するという限界を是正すること。
• 三項事実と画像データの両方から統合的に知識表現を学習する統一フレームワークの構築。
• 実世界のベンチマークを用いて、視覚的情報が知識表現の質に与える影響を評価すること。
• 注目メカニズムが、エンティティ表現に有用な画像インスタンスを選択する役割を分析すること。

提案手法

• 各エンティティの画像から画像ベースの埋め込みを生成するために、表現モジュールとプロジェクションモジュールを備えた神経画像エンコーダーを用いる。
• 注目ベースのメカニズムを用いて、複数の画像表現を1つの統合的画像ベースの表現に集約する。
• 集約された画像表現を、翻訳ベースの知識表現フレームワーク（例：TransE）に統合し、エンティティと関係の埋め込みを同時に最適化する。
• 三項組のスコアリングに、翻訳ベクトルのL2ノルムに基づく非類似度関数（||h + r - t||）を用いる。
• MAX、AVG、ATTの複数の集約戦略を評価し、ATTが優れた性能を示した。
• 本フレームワークは、TransEに限らず、他の翻訳ベースのモデルへも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 エンティティの画像からの視覚的情報は、構造的な三項組に加えて、知識表現学習を向上させることができるか？
• RQ2 注目メカニズムは、複数の画像インスタンスからエンティティ表現に有用な情報を抽出するのにどの程度効果的か？
• RQ3 学習された画像ベースの表現は、単語埋め込みに見られるような意味的規則性を示すか？
• RQ4 画像データの統合により、下流の知識グラフタスクで測定可能な改善が得られるか？

主な発見

• IKRL（ATT）モデルは三項組分類タスクで96.9%の精度を達成し、TransE（95.0%）やTransR（95.3%）を顕著に上回った。これは、注目ベースの画像集約の有効性を示している。
• IKRLのすべてのバリエーションがベースラインを上回り、視覚的情報が知識表現学習を向上させることを確認した。
• 注目メカニズムは、低品質または曖昧な画像（例：スマートフォンがポータブルコンピュータとして誤分類されたもの）を適切に特定し、重みを下げるのに成功した。
• 「dresser - drawer ≈ part_of」のような意味的類似性が、画像と知識の統合埋め込み空間で発見され、意味的な視覚的類似性が有意味であることを示した。
• 本モデルは、知識グラフ補完および三項組分類の両タスクで一貫した改善を示し、強固で汎用性のある性能を示した。