[論文レビュー] Tagger Evaluation Given Hierarchical Tag Sets

I. Dan Melamed, Philip Resnik|ArXiv.org|Aug 10, 2000

Advanced Text Analysis Techniques参考文献 5被引用数 4

ひとこと要約

本稿では、is-a関係を有する木構造のタグ階層を扱い、サブタグに一様確率を割り当て、正しいタグの確率の合計としてスコアを計算することにより、複数のタグ、複数の正解、木構造のis-aタグ階層を扱える確率的評価フレームワークを提案する。主な貢献は、Cohenのカッパ係数などの標準的指標と互換性を持つ一般化されたスコアリング手法であり、階層的ゴールドスタンダード上で人間と自動タガーラーの両方の公平で洗練された評価を可能にする。

ABSTRACT

We present methods for evaluating human and automatic taggers that extend current practice in three ways. First, we show how to evaluate taggers that assign multiple tags to each test instance, even if they do not assign probabilities. Second, we show how to accommodate a common property of manually constructed ``gold standards'' that are typically used for objective evaluation, namely that there is often more than one correct answer. Third, we show how to measure performance when the set of possible tags is tree-structured in an IS-A hierarchy. To illustrate how our methods can be used to measure inter-annotator agreement, we show how to compute the kappa coefficient over hierarchical tag sets.

研究の動機と目的

• すべての誤りタグを同等に誤りとみなす標準的評価指標の限界を是正すること。特に、意味的に関連するタグであっても、それらが同様に誤りと扱われる点を改善する。
• 複数のタグを出力する、または非確率的出力を生成するタガラーの公平な評価を可能とすること。これには、その出力を一様確率分布として解釈する。
• 複数の正解タグが共存可能なゴールドスタンダードにおける曖昧さを解消すること。正解タグを論理的非排他的（disjunctive）に扱い、確率の合計を計算する。
• is-a関係を有する木構造のタグセット（例：WordNet、hector）への評価を拡張すること。最大エントロピー原理に基づき、非リーフタグの確率質量を子タグに均等に再分配することで、確率的階層としてモデル化する。
• タグの具体的さと確率分布を考慮した調整を施したカッパ係数を用いて、階層的タグセットにおけるアノテーター間一致度を測定すること。

提案手法

• 非確率的タガラーは、出力タグ集合に一様確率を割り当て、単一タグ出力では確率1.0を割り当てる。
• 複数の正解タグは、すべての正解タグにおけるアルゴリズムが割り当てた確率の合計を計算することで処理し、部分的正解を可能にする。
• 木構造のタグセットは、各非リーフタグの確率質量をその直接子タグに均等に再分配することで再帰的に評価する。これは最大エントロピー原理に基づく。
• スコア関数は、正しいタグに割り当てられた確率の合計を計算し、次の式で表す：Score(A) = Σ Pr(correct_tag | context) すべての正解タグについて。
• アノテーター間一致度の評価では、各アノテーターのタグを一様な下位確率を用いてリーフレベルの確率に展開する。
• カッパ係数は、リーフレベルでの一致の同時確率を用いて計算され、確率的一致の期待値Pr(E)は、リーフレベル確率の二乗和として計算される。

実験結果

リサーチクエスチョン

• RQ1 正確一致が部分的正解を捉えきれない場合、複数の非確率的タグを出力するタギングシステムはどのように公平に評価できるか？
• RQ2 ゴールドスタンダードに1つのインスタンスに対して複数の有効なタグが存在する場合、評価はどのように調整すべきか？
• RQ3 タグセットがis-a階層の木構造を有する場合、親タグと子タグが同時に出現する場合に性能はどのように測定できるか？
• RQ4 非一般タグの重要性が高まりすぎることを防ぐために、標準的アノテーター間一致統計（例：Cohenのカッパ）を階層的タグセットに意味的に適用できるか？
• RQ5 階層的タグセットへの確率的評価の一般化に必要な仮定は何か。それらは評価の公平性と解釈可能性にどのように影響を与えるか？

主な発見

• 正しいリーフタグを出力するタガラーにはスコア1.0が割り当てられ、その親タグを出力するタガラーにはスコア0.5が割り当てられる。これは子タグへの一様確率分配による。
• 正しいタグがA.1aである単語に対してA.1とA.2を出力するタガラーは、正しく分類されたサブセンスに割り当てられた確率質量を反映し、スコア0.25を達成する。
• 両アノテーターが同じ非リーフタグ（例：A）を使用する場合、一致確率Pr(A)は、リーフレベル確率の積の和として計算され、A.1aとA.2aそれぞれで0.25を達成する。
• 複数の正解タグ（例：A.1aとB.2）を含むゴールドスタンダードでは、正解タグごとに割り当てられた確率の合計がスコアとなる。たとえば、アルゴリズムが出力するタグがA.1とB.2の場合、確率は0.5 + 1/3 = 0.833となる。
• リーフレベル確率に基づいて計算されたカッパ係数は、確率的一致の期待値を正しく反映しており、非リーフタグが使用された場合に一致度が過大評価されることを回避する。
• 本手法により、非リーフタグの重要性が高まりすぎることを防ぎ、その貢献がリーフに比例して分配されることで、評価の公平性が維持される。