[論文レビュー] Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification

Yuezhang Li, Ronghuo Zheng+4 more|arXiv (Cornell University)|Jul 27, 2016

Text and Document Classification Technologies参考文献 21被引用数 41

ひとこと要約

本稿では、大規模な知識ベースからの階層的カテゴリ構造とエンティティ表現を統合することで、意味的関連性モデリングを向上させる共同埋め込みフレームワークを提案する。スキップグラムをカテゴリの文脈に拡張し、HCEモデルによって先祖カテゴリを組み込むことで、コンセプト分類（Battigで87%の純度、DOTA-allで92%）およびデータなし階層分類において、20NewsgroupsおよびRCV1データセットの両方で先行手法を上回る最先端の性能を達成した。

ABSTRACT

Due to the lack of structured knowledge applied in learning distributed representation of cate- gories, existing work cannot incorporate category hierarchies into entity information. We propose a framework that embeds entities and categories into a semantic space by integrating structured knowledge and taxonomy hierarchy from large knowledge bases. The framework allows to com- pute meaningful semantic relatedness between entities and categories. Our framework can han- dle both single-word concepts and multiple-word concepts with superior performance on concept categorization and yield state of the art results on dataless hierarchical classification.

研究の動機と目的

• 既存のエンティティ埋め込み手法に構造的なカテゴリ知識が欠けていることによる、エンティティとカテゴリ間の意味的関連性の制限を是正すること。
• 知識ベースからの階層的分類ツリー構造を保持しながら、エンティティとカテゴリの埋め込みを共同で学習するフレームワークを開発すること。
• ドキュメント表現の意味的代理としてエンティティとカテゴリの埋め込みを活用することで、学習データが存在しない状況でも階層的分類を可能にすること。
• カテゴリに注意を払ったエンティティ表現の評価を支援するため、Wikipediaに基づく新しいデータセットを構築すること。
• 訓練データが利用できないゼロショットまたはデータなし分類タスクにおいて、エンティティ埋め込みの有効性を実証すること。

提案手法

• カテゴリ埋め込み（CE）モデルは、スキップグラムモデルを拡張し、文脈語を直接ラベルされたカテゴリに置き換えることで、エンティティとカテゴリのベクトルの共同学習を可能にする。
• 階層的カテゴリ埋め込み（HCE）モデルは、エンティティのすべての先祖カテゴリを文脈に組み込むことで、CEを強化し、階層的意味を捉える。
• フレームワークは負例サンプリングと確率的勾配降下法を用いてスキーップグラムの目的関数を最適化し、ターゲットエンティティから文脈カテゴリを予測する尤度を最大化する。
• 複数語のエンティティの埋め込みは、語ベクトルの平均化によって構築されるが、カテゴリ埋め込みは同じ最適化プロセスを通じてエンドツーエンドで学習される。
• データなし分類のため、ハンガリアン法を用いてエンティティ埋め込みによりESA（明示的意味的分析）ベクトルを密度化し、ドキュメントとカテゴリ記述の類似度を計算する。
• 学習された閾値 δ = 0.95 を用いたしきい値ベースの下向き分類アルゴリズムを適用し、ラベルなし学習データで階層的分類を実行する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリを外部ラベルとして扱うモデルと比較して、エンティティとカテゴリの共同埋め込みが、それらの意味的関連性モデリングを改善できるか？
• RQ2 （例：先祖カテゴリを含む）階層的カテゴリ構造を組み込むことで、エンティティおよびカテゴリ表現の質がどのように向上するか？
• RQ3 知識ベースから得たエンティティ埋め込みが、データなし階層分類の意味的代理として効果的であるか？
• RQ4 カテゴリに注意を払ったエンティティ埋め込みは、語のみまたはエンティティのみのベースラインと比較して、コンセプト分類タスクでどの程度優れているか？
• RQ5 エンティティと階層的カテゴリの共同モデリングは、ゼロショットまたはデータなし分類シナリオで、より良いパフォーマンスをもたらすか？

主な発見

• HCEモデルはBattigのコンセプト分類ベンチマークで87%の純度、DOTA-allで92%を達成し、既存手法を上回った。
• 20Newsgroupsデータセットでは、HCEベースのESA密度化により、マイクロ-F1が0.682に達し、すべての競合ベースラインを上回った。
• RCV1データセットでは、HCE増強型ESAモデルがマイクロ-F1 0.371を達成し、データなし階層分類において一貫した優位性を示した。
• HCEモデルはTransE 2 や HEE を上回ったことから、階層的構造の統合が埋め込み品質の向上に寄与することが示された。
• エンティティ埋め込み（例：HCE、HEE）は、データなし分類において語埋め込みを著しく上回り、エンティティレベルの意味的特徴の価値を確認した。
• 単語1語のエンティティから複数語のエンティティへの分類性能の低下は、単純な平均化の限界を浮き彫りにし、より良い複数語表現学習の必要性を強調した。