[論文レビュー] Distributional semantic modeling: a revised technique to train term/word vector space models applying the ontology-related approach

Oleksandr Palagin, Vitalii Velychko+2 more|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques参考文献 28被引用数 10

ひとこと要約

本稿では、文法的・用語的・意味的といったオントロジー関連の文脈的知識を統合する意味的前処理技術（SPT）を通じて、分散型用語表現（用語埋め込み）を学習するための新しいニューラルネットワークベースの手法を提案する。この手法により、アプリケーション指向で用語中心のベクトル空間モデルが作成可能となり、意味的マップの正確性が向上し、Vec2graphを介したインタラクティブなグラフ可視化が可能になり、ウクライナ語自然言語処理の包括的でウェブベースのツールキットを提供する。これにより、自動的オントロジー開発が前進する。

ABSTRACT

We design a new technique for the distributional semantic modeling with a neural network-based approach to learn distributed term representations (or term embeddings) - term vector space models as a result, inspired by the recent ontology-related approach (using different types of contextual knowledge such as syntactic knowledge, terminological knowledge, semantic knowledge, etc.) to the identification of terms (term extraction) and relations between them (relation extraction) called semantic pre-processing technology - SPT. Our method relies on automatic term extraction from the natural language texts and subsequent formation of the problem-oriented or application-oriented (also deeply annotated) text corpora where the fundamental entity is the term (includes non-compositional and compositional terms). This gives us an opportunity to changeover from distributed word representations (or word embeddings) to distributed term representations (or term embeddings). This transition will allow to generate more accurate semantic maps of different subject domains (also, of relations between input terms - it is useful to explore clusters and oppositions, or to test your hypotheses about them). The semantic map can be represented as a graph using Vec2graph - a Python library for visualizing word embeddings (term embeddings in our case) as dynamic and interactive graphs. The Vec2graph library coupled with term embeddings will not only improve accuracy in solving standard NLP tasks, but also update the conventional concept of automated ontology development. The main practical result of our work is the development kit (set of toolkits represented as web service APIs and web application), which provides all necessary routines for the basic linguistic pre-processing and the semantic pre-processing of the natural language texts in Ukrainian for future training of term vector space models.

研究の動機と目的

• 語の分散表現がドメイン固有の意味的関係を捉えることの限界を解消するため、語のレベル表現から用語レベル表現への焦点のシフト。
• 文法的・用語的・意味的知識を用語抽出および関係同定に統合することで、自動的オントロジー開発の向上を図る。
• ドメイン固有の用語ベクトル空間モデルを学習するための、実用的でアプリケーション対応の整ったツールキットを構築する。
• 合成的および非合成的用語を反映する用語埋め込みを用いることで、主題分野のより正確な意味的マッピングを実現する。
• 事前学習済み用語埋め込みとインタラクティブな可視化・検証パイプラインを統合することで、従来のオントロジー工学を刷新する。

提案手法

• 本手法は、文法・用語・意味といった文脈的知識を用いて、生のウクライナ語テキストから用語（非合成的および合成的）を抽出する意味的前処理技術（SPT）を採用する。
• 基本単位が語ではなく用語である問題指向またはアプリケーション指向のテキストコーパスを構築し、用語中心のベクトル空間モデリングを可能にする。
• これらのアノテート済みコーパス上でニューラルネットワークベースのアプローチを用いて用語埋め込みを学習し、従来の語の分散表現フレームワークに代わる。
• Vec2graph Pythonライブラリを用いて、用語埋め込みを動的かつインタラクティブなグラフとして可視化し、意味的クラスターや相反関係の探索を可能にする。
• ウェブサービスAPIおよびウェブアプリケーションとして提供される包括的な開発キットにより、ウクライナ語NLPのための言語的前処理、SPT、モデル管理の完全なパイプラインを統合する。
• 事前学習済み語の分散表現（コンテキストに依存するモデルを含む）との統合をサポートし、再学習を伴わずに既存モデルの再利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オントロジー関連の文脈的知識は、ドメイン固有のテキストにおける用語抽出および関係同定の正確性をどの程度向上できるか？
• RQ2 用語埋め込みは、主題分野内での意味的関係を捉える際に、語の分散表現をどの程度上回るか？
• RQ3 用語中心のベクトル空間モデルは、自動的オントロジー開発における意味的マップの品質および解釈可能性をどの程度向上できるか？
• RQ4 ウェブベースのツールキットは、ウクライナ語における用語埋め込み学習のための言語的および意味的前処理パイプライン全体をどの程度効果的に支援できるか？
• RQ5 事前学習済み埋め込みとSPT、可視化ツールの統合は、知識工学ワークフローにどのような影響を及ぼすか？

主な発見

• 提案されたSPTベースの手法は、文法的・用語的・意味的知識を用いて、ウクライナ語テキストから非合成的および合成的用語を効果的に抽出できた。
• 本手法で学習された用語ベクトル空間モデルは、従来の語の分散表現よりも、ドメイン固有の概念のクラスターや相反関係を識別する点でより高い正確性を示した。
• 用語埋め込みとVec2graphの統合により、意味的関係の動的かつインタラクティブな可視化が可能となり、仮説検証や知識検証を支援した。
• ウェブAPIおよびウェブアプリケーションを含む開発キットは、言語的前処理、SPT、モデル管理の完全なパイプラインを提供し、ウクライナ語NLPに特化した。
• 外部の事前学習済み語の分散表現の再利用をサポートし、学習コストを削減しながらも、ドメイン固有の応用において高い意味的忠実性を維持した。
• 意味的前処理をモデル学習パイプラインに直接統合することで、本手法は自動的オントロジー開発を前進させ、正確性と解釈可能性の両方を向上させた。