[論文レビュー] Assessing System Agreement and Instance Difficulty in the Lexical Sample Tasks of Senseval-2

Ted Pedersen|ArXiv.org|May 27, 2002

Natural Language Processing Techniques参考文献 2被引用数 9

ひとこと要約

この論文は、Senseval-2の英語およびスペイン語の語彙的サンプルタスクにおけるシステムの一致度とインスタンスの難易度を、カッパ統計と新しい「最適な組み合わせ」指標を用いて分析している。システムの一致度には顕著なばらつきが見られ、一部のシステムは著しく重複しており、他方では補完的であることが判明した。また、インスタンスの難易度は、特に10個未塔の訓練例しか存在しない意味素に対して、訓練例の数と強く相関していることが明らかになった。

ABSTRACT

This paper presents a comparative evaluation among the systems that participated in the Spanish and English lexical sample tasks of Senseval-2. The focus is on pairwise comparisons among systems to assess the degree to which they agree, and on measuring the difficulty of the test instances included in these tasks.

研究の動機と目的

• Senseval-2の語彙的サンプルタスクにおけるシステム間の一致度を評価し、重複度や補完性を評価すること。
• システムのパフォーマンスに基づいて、Senseval-2の語彙的サンプルタスクの個々のテストインスタンスの難易度を測定すること。
• 意味素ごとの訓練例の数が、インスタンスの難易度と相関するかどうかを調査すること。
• 性能が補完的であるため、アンサンブル結合によってパフォーマンスが向上しうるシステムペアを特定すること。
• とくに訓練データがスパarsな意味素に対して、語の意味解釈の難しさに関する洞察を提供すること。

提案手法

• 偶然の一致を補正したCohenのカッパ統計を用いて、ペアワイズのシステム一致度を計算する。
• 2つのシステムを組み合わせた際の潜在的な改善度を定量化するための「最適な組み合わせ」指標を導入する。
• 各システムペアについて、両方とも正しく、片方だけ、あるいは両方とも誤りであるインスタンスの数を記録する2×2のクロス集計表を構築する。
• 正しく意味を解釈できたシステムの数に基づいて、テストインスタンスを順位付けし、相対的な難易度を評価する。
• 意味素1つあたりの平均訓練例数と、各インスタンスを正しく解釈できたシステム数の相関関係を分析する。
• 品詞ごとに平均システムパフォーマンスを計算し、語ごとの難易度を評価する。

実験結果

リサーチクエスチョン

• RQ1 参加しているシステムは、Senseval-2の語彙的サンプルタスクにおいて、語の意味解釈についてどの程度一致しているか？
• RQ2 どのシステムペアが最も補完的であるか。これは、アンサンブル結合によってパフォーマンスが向上しうることを示唆する。
• RQ3 意味素1つあたりの訓練例の数は、特定のインスタンスの意味解釈の難易度とどの程度相関しているか？
• RQ4 どの語や意味素が最も難易度が高く、それらの特徴は何か？
• RQ5 全システムが一貫して誤って分類するテストインスタンスの割合はどれくらいか。これはタスク全体の難易度に何を示唆するか？

主な発見

• スペイン語タスクにおいて、alicanteシステムは他のシステムとは根本的に異なり、jhuとペアを組むと最高の最適な組み合わせスコア（0.89）を記録し、強い補完性を示した。
• 英語タスクでは、4,328個のテストインスタンスのうち1,277個（29.5％）が5つ以下のシステムによって正しく解釈されたため、全体としての難易度が非常に高いことが示された。
• 英語の動詞インスタンスでは、174個がいかなるシステムによっても正しく解釈されず、これらのインスタンスの正しい意味素あたりの平均訓練例数はたった6件であった。
• 一方、28個の英語動詞インスタンスは23のすべてのシステムによって正しく解釈されたが、これらのインスタンスでは正しい意味素あたり平均47件の訓練例があった。
• 英語では、語「find」が最も難易度が高く、平均して23のシステムのうち4.2個がその68個のインスタンスを正しく解釈した。
• スペイン語では、動詞「conducir」が最も難易度が高く、平均して8つのシステムのうち3.8個がその54個のインスタンスを正しく解釈した。