[論文レビュー] Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images

Steffen Thoma, Achim Rettinger+1 more|arXiv (Cornell University)|Apr 20, 2017

Topic Modeling参考文献 20被引用数 5

ひとこと要約

本稿では、語レベルのアライメントを通じてテキスト、視覚、知識グラフ埋め込みを共有の概念空間に統合する三モード知識統合フレームワークを提案する。word2vec、Inception-V3、DBpedia上のTransEの事前学習済み表現を統合することで、語類似度ベンチマークで優れた性能を達成し、マルチモーダル統合が単一または二モーダルアプローチよりも人間らしい概念表現をもたらすことを示した。

ABSTRACT

We present a baseline approach for cross-modal knowledge fusion. Different basic fusion methods are evaluated on existing embedding approaches to show the potential of joining knowledge about certain concepts across modalities in a fused concept representation.

研究の動機と目的

• テキスト、視覚、知識グラフ埋め込みを統合することで概念表現の質が向上するかどうかを調査すること。
• 共有のマルチモーダル埋め込み空間が、単一モーダルまたは二モーダル表現よりも人間の概念類似度の認識をよりよく反映するかどうかを評価すること。
• 語レベルで異種の埋め込みを統合・統合するスケーラブルな手法を開発すること。
• 異なるモーダルティが概念表現をより豊かで包括的にするという相補性を実証すること。

提案手法

• テキスト表現には事前学習済みword2vec埋め込み、視覚表現にはInception-V3特徴、知識グラフ概念には自己学習済みTransE埋め込みを用いる。
• DBpediaの概念をその最も一般的な表記形にマッピングし、WordNetの語義集合毎にImageNetの画像特徴を集約（max-pooling）することで、全モーダルを語レベルでアライメントする。
• テキスト、画像、知識グラフの語レベルでアライメントされた表現を連結することで、共有の三モーダル埋め込み空間を構築する。
• 二段階のアライメントプロセスを採用する：第一に、WordNet経由で知識グラフエンティティと画像特徴を共通の語レベル概念にマッピングする。第二に、アライメント済み埋め込みを統合して単一の統合表現に統合する。
• WordNetの階層的構造を活用して抽象的Concept表現（例：「バイオリン」と「ハープ」を組み合わせて「楽器」と表現）を生成する。
• 人間がアノテートした標準語類似度データセット上で統合された埋め込みを評価し、人間の認識との整合性を測定する。

実験結果

リサーチクエスチョン

• RQ1 テキスト、視覚、知識グラフ埋め込みの統合は、単一または二モーダルアプローチよりも包括的で人間らしい概念表現を生み出せるか？
• RQ2 視覚的および知識グラフ的埋め込みは、テキスト語埋め込みが捉えきれない情報を、概念類似度の捉え方においてどのように相補的に提供するか？
• RQ3 モーダル間の語レベルアライメントは、概念表現のための統一された埋め込み空間を構築するのにどの程度有効か？
• RQ4 三つのモーダルをすべて含めることで、個別またはペairedモーダルと比較して語類似度ベンチマーク性能に顕著な向上が見られるか？

主な発見

• 統合された三モーダル表現は、標準語類似度ベンチマークにおいて、常に単一モーダルおよび二モーダル表現を上回った。これは、マルチモーダル統合が概念表現を向上させることを確認するものである。
• 視覚的および知識グラフ的埋め込みの統合により類似度スコアが顕著に向上した。これは、これらのモーダルがテキストのみでは捉えきれない相補的情報を提供していることを示している。
• 共有の概念空間は、いかなる単一モーダルよりも人間がアノテートした類似度判断と高い相関を示し、人間の認識に近いことを示した。
• 異なるモーダル間で概念の重複が限定的であっても、アライメント済み埋め込みの統合がより強固で包括的な表現を生み出すことを示した。
• カバレッジが限られているにもかかわらず、適切にアライメントされた視覚的埋め込みは、最終的な表現品質に有意義な貢献をした。
• 二段階のアライメントプロセス（WordNet経由で知識グラフと画像特徴を語レベル概念にマッピング）は、マルチモーダル統合を可能にする上で有効であった。