[論文レビュー] Word sense disambiguation via bipartite representation of complex networks.

Edilson A. Corrêa, Alneu de Andrade Lopes+1 more|arXiv (Cornell University)|Jun 25, 2016

Topic Modeling参考文献 28被引用数 36

ひとこと要約

本稿では、意味が曖昧な語（ターゲット語）と文脈的語（特徴語）をネットワーク内のノードとして表現する二部ネットワークモデルを提案する。このモデルは、語の意味を解消するために、それらの語の意味的関係を明示的に活用する。トピック特徴を用いてネットワークのトポロジー上で意味の識別を直接行う構造を構築することで、特に小規模な学習データセットにおいても優れた性能を発揮し、一部のケースではサポートベクターマシンを上回る。

ABSTRACT

In recent years, concepts and methods of complex networks have been employed to tackle the word sense disambiguation (WSD) task by representing words as nodes, which are connected if they are semantically similar. Despite the increasingly number of studies carried out with such models, most of them use networks just to represent the data, while the pattern recognition performed on the attribute space is performed using traditional learning techniques. In other words, the structural relationship between words have not been explicitly used in the pattern recognition process. In addition, only a few investigations have probed the suitability of representations based on bipartite networks and graphs (bigraphs) for the problem, as many approaches consider all possible links between words. In this context, we assess the relevance of a bipartite network model representing both feature words (i.e. the words characterizing the context) and target (ambiguous) words to solve ambiguities in written texts. Here, we focus on the semantical relationships between these two type of words, disregarding the relationships between feature words. In special, the proposed method not only serves to represent texts as graphs, but also constructs a structure on which the discrimination of senses is accomplished. Our results revealed that the proposed learning algorithm in such bipartite networks provides excellent results mostly when topical features are employed to characterize the context. Surprisingly, our method even outperformed the support vector machine algorithm in particular cases, with the advantage of being robust even if a small training dataset is available. Taken together, the results obtained here show that the proposed representation/classification method might be useful to improve the semantical characterization of written texts.

研究の動機と目的

• 従来のWSD手法が複雑なネットワークをデータ表現の目的にしか使わないという制限に対処すること。
• 意味が曖昧な語とその文脈語の間の意味的関係をモデル化するための二部ネットワーク表現の有効性を調査すること。
• 二部ネットワークの構造的性質に基づいて意味の識別を直接行う学習アルゴリズムを開発すること。
• 提案されたネットワークベースのWSDフレームワークにおいて、トピック特徴が性能を向上させるかどうかを評価すること。

提案手法

• 本手法は、意味が曖昧な語（ターゲット語）を表すノード群と、文脈からの特徴語を表すノード群からなる二部ネットワークを構築する。
• 意味的関係は、ターゲット語と特徴語の間でのみ確立され、特徴語同士の直接的なリンクは排除されており、構造を単純化し、文脈からターゲットへの関連に焦点を当てる。
• ネットワーク構造を分類の主な根拠として用い、属性空間における従来の機械学習ではなく、トポロジー解析を通じて意味の識別を実行する。
• トピック特徴を用いて文脈を特徴づけ、モデルが関連する意味的手がかりを捉える能力を高める。
• 学習アルゴリズムは、ネットワークの接続パターンを活用して、意味が曖昧な語に最も確率の高い意味を割り当てる。
• 標準的なWSDベンチマークを用いて評価を行い、SVMや他のベースライン手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 意味が曖昧な語とその文脈的特徴の間の意味的関係を効果的にモデル化するための二部ネットワーク表現は、語の意味解消に有効であるか？
• RQ2 提案されたネットワークベースの手法は、SVMのような従来の機械学習手法と比較して、WSDタスクでどの程度優れた性能を示すか？
• RQ3 トピック特徴の使用が、二部ネットワークモデルにおける意味の識別精度をどの程度向上させるか？
• RQ4 本手法は、小規模なデータセットで学習させた場合でも、頑健な性能を維持できるか？

主な発見

• 提案手法は、特に文脈を特徴づけるためにトピック特徴が使用された場合、サポートベクターマシンを上回る性能を発揮する。
• 限られた学習データでも、本手法は頑健な性能を示しており、優れた一般化能力を有していることが示された。
• トピック特徴の使用は、意味の曖昧さを解消するモデルの能力を顕著に向上させる。
• 二部ネットワーク構造により、従来の属性空間学習に依存せずに、ターゲット語と特徴語の関係を明示的にモデル化することで、効果的な意味の識別が可能になった。