[論文レビュー] Improved Representation Learning for Predicting Commonsense Ontologies

Xiang Li, Luke Vilnis+1 more|arXiv (Cornell University)|Aug 1, 2017

Topic Modeling参考文献 12被引用数 15

ひとこと要約

本稿では、常識的オントロジー学習のための順序埋め込みモデルに対する2つの拡張を提案する: (1) ハイパーパラメータの予測を向上させるために、生テキストとの共同学習を実施し、(2) オントロジーの部分順序構造から導出される長距離の結合およびミート制約を統合する。共同モデルは、ConceptNetとMCGで92.0%から93.0%へと精度を向上させた。一方、制約拡張モデルは、WordNetで90.6%から91.3%へと性能を向上させ、構造化された監視と非構造化テキストの両方が、一貫性があり一般化可能な表現を学習する上で有効であることを示している。

ABSTRACT

Recent work in learning ontologies (hierarchical and partially-ordered structures) has leveraged the intrinsic geometry of spaces of learned representations to make predictions that automatically obey complex structural constraints. We explore two extensions of one such model, the order-embedding model for hierarchical relation learning, with an aim towards improved performance on text data for commonsense knowledge representation. Our first model jointly learns ordering relations and non-hierarchical knowledge in the form of raw text. Our second extension exploits the partial order structure of the training data to find long-distance triplet constraints among embeddings which are poorly enforced by the pairwise training procedure. We find that both incorporating free text and augmented training constraints improve over the original order-embedding model and other strong baselines.

研究の動機と目的

• 階層的関係と非構造化テキストを共同でモデリングすることで、常識的オントロジーの表現学習を向上させること。
• 順序埋め込みにおけるペairワイズ学習の限界を補うために、オントロジーの部分順序構造から導出される長距離の三つ組制約を組み込むこと。
• グローバルな構造的監視を用いて、Is-A関係の予測におけるモデルの一般化性と一貫性を向上させること。
• 統合された学習フレームワーク内で、自由テキスト監視とラティスベースの制約を組み合わせた有効性を評価すること。

提案手法

• 重み付き和による損失関数の組み合わせを用いて、順序埋め込みとCBOWベースのテキスト埋め込みを共同で学習する: $ L_{\text{Joint}} = \alpha_1 L_{\text{Order}} + \alpha_2 L_{\text{CBOW}} $。
• ConceptNetとMCGにおける合成語の表現として、語の埋め込みの平均値を用いる。
• オントロジーの部分順序の推移的閉包を生成することで、一般化を向上させる追加の学習例を生成する。
• 2つの埋め込みのベクトルの最大値（結合）と最小値（ミート）が、ラティスにおける最小上界と最大下界を近似するように制約を課すことで、結合およびミート制約を導入する。
• 結合およびミートの損失関数を定義する: $ d_c = \| \max(0, w_1 \vee w_2 - w_c) \|^2 $ および $ d_p = \| \max(0, w_p - w_1 \wedge w_2) \|^2 $。トレーニングにはマージンベースのランク損失を用いる。
• すべての実験において、50次元の埋め込みを用い、開発セットでハイパーパramータを調整しながらAdam最適化手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 順序埋め込みと非構造化テキストの共同学習は、常識的Is-A関係予測の性能向上に寄与するか？
• RQ2 オントロジーのラティス構造から導出される長距離の三つ組制約を組み込むことで、順序埋め込みの一般化性能が向上するか？
• RQ3 テキスト監視とラティス制約の併用効果は、ベースラインモデルと比較して、精度と頑健性の面でどのように異なるか？
• RQ4 順序埋め込みフレームワークは、現実世界の知識ベースにおける複雑なマルチワードエンティティおよび部分順序構造を効果的に処理できるか？

主な発見

• 順序埋め込みとCBOWの共同モデルは、ConceptNetおよびMCGのIs-A関係データセットで93.0%の精度を達成し、ベースラインの順序埋め込みモデル（92.0%）に対して1.0%の絶対的向上を示した。
• データ2スプリット（小規模）では、共同モデルがベースラインOEの78.1%から80.4%へと向上し、ラベル付きデータが限られた状況でも一貫した向上が得られた。
• 結合およびミート制約の追加により、順序埋め込みモデルのWordNetにおける精度は90.6%から91.3%へと向上し、グローバルな構造的監視の有効性が裏付けられた。
• テキストとラティス制約の両方を備えたモデルは、双線形分類器やword2gaussといった強力なベースラインを上回り、マルチソース監視の有効性を示した。
• ラベル付きデータが少ない状況では、テキスト監視による利益が特に顕著であり、少量学習において非構造化テキストが価値あるインダクティブバイアスを提供することが示唆された。
• 本手法は、埋め込み空間の内在的幾何構造を効果的に活用し、推移的およびラティスベースの推論を強制することで、一貫性がありグローバルに整合性のある予測を可能にした。