[論文レビュー] Nine Features in a Random Forest to Learn Taxonomical Semantic Relations

Enrico Santus, Alessandro Lenci+3 more|arXiv (Cornell University)|Mar 29, 2016

Natural Language Processing Techniques参考文献 3被引用数 13

ひとこと要約

この論文では、語彙的意味的関係—上位関係、共ハイポニム、およびランダムな語のペア—を品詞をまたいで分類するための教師ありランダムフォレストモデル、ROOT9を提示する。9つの非教師あり、コーパスベースの特徴を活用し、マルチクラス分類で90.7%のF1スコアを達成し、ベーシスラインのベクトルコサイン法を最大33.4ポイントも上回り、多様な語彙的カテゴリにおいて優れた性能と頑健性を示している。

ABSTRACT

ROOT9 is a supervised system for the classification of hypernyms, co-hyponyms and random words that is derived from the already introduced ROOT13 (Santus et al., 2016). It relies on a Random Forest algorithm and nine unsupervised corpus-based features. We evaluate it with a 10-fold cross validation on 9,600 pairs, equally distributed among the three classes and involving several Parts-Of-Speech (i.e. adjectives, nouns and verbs). When all the classes are present, ROOT9 achieves an F1 score of 90.7%, against a baseline of 57.2% (vector cosine). When the classification is binary, ROOT9 achieves the following results against the baseline: hypernyms-co-hyponyms 95.7% vs. 69.8%, hypernyms-random 91.8% vs. 64.1% and co-hyponyms-random 97.8% vs. 79.4%. In order to compare the performance with the state-of-the-art, we have also evaluated ROOT9 in subsets of the Weeds et al. (2014) datasets, proving that it is in fact competitive. Finally, we investigated whether the system learns the semantic relation or it simply learns the prototypical hypernyms, as claimed by Levy et al. (2015). The second possibility seems to be the most likely, even though ROOT9 can be trained on negative examples (i.e., switched hypernyms) to drastically reduce this bias.

研究の動機と目的

• 複数の品詞にまたがる、上位関係、共ハイポニム、およびランダムな語のペアという3種類の語彙的意味的関係を正確に分類できる教師ありシステムを開発すること。
• 9,600語のペアから成るバランスの取れたデータセット上で、モデルの性能を評価すること。このデータセットは、3つの意味的関係タイプに均等に分配されている。
• 先行研究が示唆するように、モデルが真の意味的関係を学習しているのか、それとも代表的な上位関係のパターンを単に記憶しているだけなのかを調査すること。
• Weedsら（2014）のベンチマークデータセットのサブセットを用いて、ROOT9の性能を最先端のシステムと比較すること。

提案手法

• 本システムは、分布的単語表現から得られる9つの非教師あり、コーパスベースの特徴を用いて訓練されたランダムフォレスト分類器を採用している。
• 特徴には、分布的類似度測定値、文法的パターン、共起統計が含まれる。これらはすべて、手動のアノテーションなしに大規模なテキストコーパスから計算されている。
• モデルは9,600語のペアで訓練され、上位関係、共ハイポニム、およびランダムペアの各クラスに等しく分配されている。10分割交差検証を用いて評価されている。
• 一般化性能を評価するため、Weedsら（2014）のデータセットのサブセットを用いてテストを行い、先行の最先端システムと比較可能であるようにしている。
• モデルは、代表的な上位関係パターンへのバイアスを軽減するために、負例（つまり、逆転した上位関係）を用いてさらにファインチューニングされている。
• 性能は、マルチクラスおよびバイナリ分類設定の両方でF1スコアを用いて測定されている。

実験結果

リサーチクエスチョン

• RQ1 教師ありランダムフォレストモデルに非教師あり特徴を組み合わせることで、上位関係、共ハイポニム、およびランダムな語のペアという3種類の語彙的関係を効果的に分類できるか？
• RQ2 モデルの高い正確性は、真の意味的関係を学習しているからなのか、それとも代表的な上位関係のパターンを単に記憶しているからなのか？
• RQ3 標準ベンチマークデータセット上で、ROOT9は既存の最先端システムと比べてどの程度の性能を示すか？
• RQ4 負例（例：逆転した上位関係）を用いて訓練することで、モデルの代表的上位関係パターンへのバイアスはどの程度軽減できるか？

主な発見

• すべての3つの関係タイプにわたるマルチクラス分類において、ROOT9は90.7%のF1スコアを達成し、57.2%のベクトルコサインベースラインを顕著に上回った。
• バイナリ分類において、上位関係 vs. 共ハイポニムでは、ROOT9が95.7%のF1スコアを達成したのに対し、ベースラインは69.8%であった。
• 上位関係 vs. ランダムペアでは、ROOT9が91.8%のF1スコアを達成したのに対し、ベースラインは64.1%であった。
• 共ハイポニム vs. ランダムペアでは、ROOT9が97.8%のF1スコアを達成し、ベースラインの79.4%を上回った。
• Weedsら（2014）のデータセットのサブセットを用いた評価により、ROOT9が最先端のシステムと同等の性能を示すことが確認された。
• モデルは代表的な上位関係を学習する傾向が強いが、負例（つまり、逆転した上位関係）を用いて訓練することで、このバイアスは顕著に軽減された。