[論文レビュー] Towards a Flexible Embedding Learning Framework

Chin‐Chia Michael Yeh, Dhruv Gelda+4 more|arXiv (Cornell University)|Sep 23, 2020

Advanced Graph Neural Networks参考文献 34被引用数 6

ひとこと要約

本論文は、多様なデータ型にわたる異種の関係を捉えるために、複数のエンティティ-関係行列を入力として使用する柔軟な埋め込み学習フレームワークを提案する。カーネル正規化にインspiredされたサンプリング機構を採用し、ドメイン知識の直接統合を可能にすることで、テキストおよび取引データセットにおけるクラスタリング、分類、可視化タスクで最先端の手法を上回る性能を発揮する。

ABSTRACT

Representation learning is a fundamental building block for analyzing entities in a database. While the existing embedding learning methods are effective in various data mining problems, their applicability is often limited because these methods have pre-determined assumptions on the type of semantics captured by the learned embeddings, and the assumptions may not well align with specific downstream tasks. In this work, we propose an embedding learning framework that 1) uses an input format that is agnostic to input data type, 2) is flexible in terms of the relationships that can be embedded into the learned representations, and 3) provides an intuitive pathway to incorporate domain knowledge into the embedding learning process. Our proposed framework utilizes a set of entity-relation-matrices as the input, which quantifies the affinities among different entities in the database. Moreover, a sampling mechanism is carefully designed to establish a direct connection between the input and the information captured by the output embeddings. To complete the representation learning toolbox, we also outline a simple yet effective post-processing technique to properly visualize the learned embeddings. Our empirical results demonstrate that the proposed framework, in conjunction with a set of relevant entity-relation-matrices, outperforms the existing state-of-the-art approaches in various data mining tasks.

研究の動機と目的

• 既存の埋め込み手法が単一の関係タイプを仮定しており、異種の意味的構造を柔軟に捉えることが難しいという限界を解消する。
• エンティティ-関係行列を入力として用いることで、入力データの種別に依存しない表現学習を可能にする。
• カスタマイズ可能な行列構築により、ドメイン知識を直感的に統合する道筋を提供する。
• 同じデータベースからの複数の関係タイプを同時にモデリングすることで、埋め込み品質を向上させる。
• 異なるエンティティタイプにわたる学習済み埋め込みの正確な2次元／3次元可視化を実現するための後処理技術を開発する。

提案手法

• 各関係タイプに対応する特定の関係に基づいてエンティティ間の類似度を測定するエンティティ-関係行列を用いて、エンティティ間の関係を表現する。
• 最適化プロセス中に複数の行列からサンプリングする機構を設計し、複数カーネル学習におけるカーネル正規化にインspiredして寄与度のバランスをとる。
• 関連するエンティティ間で類似度を高く、関係のないエンティティ間で類似度を低くするように、損失関数を最小化することで埋め込み空間を最適化する。
• 異なるエンティティタイプのすべてのエンティティに対して共通の埋め込み空間を用いることで、統合的表現学習を実現する。
• 高次元埋め込みを2次元または3次元空間に射影する後処理技術を適用し、意味のある可視化を実現する。これにより、t-SNE や MDS といった標準的手法が失敗するのを回避する。
• 取引内の共起、共有ユーザー、名前類似度など、多様なソースからエンティティ-関係行列を構築し、異種の関係を反映する。

Figure 1: Motivating Example. A use case of the proposed framework for credit card transaction database. Five matrices describing the relationships of restaurant, cuisine style, user, and word appears in name of restaurant are extracted from credit card transaction database. Embeddings are learned u

実験結果

リサーチクエスチョン

• RQ1 単一の意味的構造を仮定しないで、複数の異種関係タイプから統一された埋め込みフレームワークが、効果的に学習できるか？
• RQ2 カーネル正規化に基づく提案されたサンプリング機構は、標準的な行列分解手法と比較して、どのように埋め込み品質を向上させるか？
• RQ3 エンティティ-関係行列の設計を通じて、ドメイン知識をどれほど直感的に学習プロセスに統合できるか？
• RQ4 本フレームワークは、テキストデータなど多様なデータタイプにおいて、クラスタリングや分類といった下流タスクで、既存の最先端手法を上回るか？
• RQ5 提案された後処理技術は、オフザシェルの次元削減手法と比較して、より正確で解釈可能な埋め込みの可視化を実現できるか？

主な発見

• 20news および RCV1 テキストデータセットにおいて、クラスタリング、分類、可視化の3つの評価指標すべてで、本フレームワークは最先端の手法を上回った。
• 共起、ユーザー共有、名前類似度などの複数のエンティティ-関係行列を用いることで、単一の行列タイプに依存する場合よりも情報量の多い埋め込みが得られた。
• Wikipedia埋め込みから得られる外部データセット由来の行列でさえも、優れた性能を発揮したため、本フレームワークの柔軟性と一般化能力が裏付けられた。
• 後処理技術により、2次元／3次元空間への埋め込み可視化に成功し、構造を保持する意味のあるクラスターや意味的グルーピングが明確に現れた。一方、t-SNE や MDS といった標準的手法は構造を保持できなかった。
• 学習済み埋め込みから生成されたワードクラウドの主観的分析により、ドキュメント埋め込みが関連語と意味的に整合していることが確認され、文脈的意味の有効な捉えが確認された。
• ハイパーパramータ感度分析の結果、さまざまな設定でも安定した性能を示し、フレームワークの頑健性が裏付けられた。

Figure 2: Example entity-relation-matrices.