[論文レビュー] Thematically Reinforced Explicit Semantic Analysis

Yannis Haralambous, Vitaly Klyuev|arXiv (Cornell University)|May 17, 2014

Natural Language Processing Techniques参考文献 12被引用数 12

ひとこと要約

本稿では、tfidf重み付けにウィキペディアのカテゴリ階層を統合することで、意味的類似度を向上させるテーマ的強化型明示的意味解析（ESA）手法を提案する。カテゴリグラフの最大スパニングツリーを計算し、テーマ的経路に沿ってカテゴリ的tfidfスコアを集約することで、文脈外の語の影響に対する耐性が向上し、標準ESAと比較してフランス語ニュースグループテキスト分類で9–10%の精度向上を達成した。

ABSTRACT

We present an extended, thematically reinforced version of Gabrilovich and Markovitch's Explicit Semantic Analysis (ESA), where we obtain thematic information through the category structure of Wikipedia. For this we first define a notion of categorical tfidf which measures the relevance of terms in categories. Using this measure as a weight we calculate a maximal spanning tree of the Wikipedia corpus considered as a directed graph of pages and categories. This tree provides us with a unique path of "most related categories" between each page and the top of the hierarchy. We reinforce tfidf of words in a page by aggregating it with categorical tfidfs of the nodes of these paths, and define a thematically reinforced ESA semantic relatedness measure which is more robust than standard ESA and less sensitive to noise caused by out-of-context words. We apply our method to the French Wikipedia corpus, evaluate it through a text classification on a 37.5 MB corpus of 20 French newsgroups and obtain a precision increase of 9-10% compared with standard ESA.

研究の動機と目的

• 標準ESAが語の間のテーマ的・オントロジカル関係を捉える能力に限界を示すのを是正すること、特に語がウィキペディアのページで頻繁に共起しない場合に有効であるようにすること。
• ウィキペディアのカテゴリ構造からのテーマ的文脈を統合することで、文脈外または意味的に無関係な語の出現が引き起こすノイズに対するESAの耐性を高めること。
• ウィキペディアのカテゴリの階層的組織を活用して、テーマ的一致性を持つ語表現を強化する手法を開発し、意味的類似度測定を向上させること。
• 37.5 MBのフランス語ニュースグループコーパスを用いた実世界のテキスト分類タスクにおいて、提案手法の性能を評価し、標準ESAを上回ることを示すこと。

提案手法

• 語の頻度と逆カテゴリ頻度を用いて、ウィキペディアのカテゴリ内における語の関連性を測定する新しいカテゴリ的tfidf測定法を導入する。
• ウィキペディアのページとカテゴリの有向グラフを構築し、階層のルートへの「最も関連性の高い」テーマ的経路を特定するために最大スパニングツリーを計算する。
• ページからルートカテゴリに至るテーマ的経路上のすべてのノードのカテゴリ的tfidf値を集約し、標準的な語レベルのtfidfスコアを強化する。
• 標準的tfidf重みとカテゴリ的tfidf重みの両方で強化された語ベクトル間のコサイン類似度として、テーマ的強化型意味的類似度測定を定義する。
• 得られたベクトル表現をサポートベクターマシン（SVM）を用いたテキスト分類パイプラインに適用し、精度を最適化するためにハイパーパramータを調整する。
• 20個のフランス語ニュースグループコーパスを用いて、標準ESAおよびXESAと比較して手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ウィキペディアのカテゴリ階層をESAに統合することで、文脈外語の使用に対する感受性を低減させ、意味的類似度を向上させることができるか？
• RQ2 カテゴリグラフの最大スパニングツリーを用いたテーマ的強化は、意味的類似度測定の耐性および正確性にどのように影響を与えるか？
• RQ3 特にテーマ的およびオントロジカル関係を扱う際の性能向上として、提案手法が標準ESAおよびXESAをどの程度上回るか？
• RQ4 強化された意味的表現における、標準tfidfとカテゴリ的tfidf重みの最適なバランスは何か？

主な発見

• 提案されたテーマ的強化型ESA手法は、37.5 MBのフランス語ニュースグループコーパスにおいて、標準ESAと比較して9–10%の分類精度向上を達成した。
• 観察された最高の精度は75.015%であり、特定のハイパーパramータ設定（λ₁=1.5, λ₂=0, λ₃=0.5, λ₄=0.25, λ₅=0.125, C=3.0）で達成された。
• すべてのλパラメータを0に設定した場合（すなわち標準ESAの場合）、精度は65.58%に低下し、テーマ的強化の必要性が裏付けられた。
• SVM分類器で使用されたサポートベクタの数は、λ値が高くなるにつれて増加し、精度と計算コストのトレードオフが生じていることが示された。
• 複数のパramータ設定において一貫した性能向上が確認され、最適でない設定下でも精度が74.3%以上を維持した。
• 結果から、カテゴリ階層によるテーマ的強化が、非テーマ的共起によるノイズを効果的に低減し、意味的表現の質を向上させていることが示唆された。