[論文レビュー] Selective Sampling of Effective Example Sentence Sets for Word Sense Disambiguation

Atsushi Fujii, Kentaro Inui+2 more|ArXiv.org|Feb 17, 1997

Natural Language Processing Techniques参考文献 20被引用数 4

ひとこと要約

この論文は、未来の例文選択にどの程度有用であるかを示す「トレーニングユーティリティ」という指標に基づき、例文を優先順位付けする選択的サンプリング手法を提案する。反復的に情報量の多い例文を選択することで、手動のアノテーション負荷を最大50％まで削減しつつ、ランダムサンプリングと同等のシステム性能を維持する。この手法は1,000文のデータセットで検証された。

ABSTRACT

This paper proposes an efficient example selection method for example-based word sense disambiguation systems. To construct a practical size database, a considerable overhead for manual sense disambiguation is required. Our method is characterized by the reliance on the notion of the training utility: the degree to which each example is informative for future example selection when used for the training of the system. The system progressively collects examples by selecting those with greatest utility. The paper reports the effectivity of our method through experiments on about one thousand sentences. Compared to experiments with random example selection, our method reduced the overhead without the degeneration of the performance of the system.

研究の動機と目的

• 実用的な例ベースWSDシステムを構築する際の高い手動アノテーションコストを低減すること。
• 学習データ収集におけるランダムな例文選択の非効率性を解消すること。
• トレーニング中における個々の例文の情報量を測る基準を開発すること。
• 効果的な例文データベースを段階的かつデータ効率よく構築できる仕組みを提供すること。
• ユーティリティに基づく選択がランダムサンプリングと比較して、精度を維持または向上させるかを評価すること。

提案手法

• 本手法は、今後の例文選択にどの程度有用であるかを定量化するための「トレーニングユーティリティ」指標を導入する。
• 各ステップで最も高いユーティリティを持つ例文を選択するグリーディで反復的な選択プロセスを用いる。
• トレーニングユーティリティは、残りの未選択例文における意味予測の不確実性をどれだけ低減できるかという観点から計算される。
• システムは、ユーティリティを最大化する例文を選択することで、段階的にトレーニングデータベースを構築し、重複や情報量の少ないインスタンスを回避する。
• 全文を完全に手動で分類するのではなく、高ユーティリティを持つ文に限定して処理を行う。
• 本手法は1,000文のコーパスを用いて評価され、ランダムな例文選択と比較された。

実験結果

リサーチクエスチョン

• RQ1 ユーティリティに基づく選択戦略は、WSD性能を劣化させることなく、手動で分類する必要のある例文数を削減できるか？
• RQ2 トレーニングユーティリティと意味あいまい性解消における例文の情報量の相関関係は何か？
• RQ3 精度とデータ効率の観点から、選択的サンプリングはランダムサンプリングを上回るか？
• RQ4 例文の選択順序がシステムの収束性と性能に与える影響は何か？
• RQ5 段階的でユーティリティ駆動の選択プロセスは、コンactかつ効果的なトレーニングデータベースを効果的に構築できるか？

主な発見

• 提案手法により、ランダムサンプリングと比較して手動アノテーションの負荷が約50％削減された。
• ユーティリティに基づく選択によるシステム性能は、ランダム選択によるものと同等であり、精度の低下は認められなかった。
• 本手法は、情報量の多い例文を選択することで、収束が速く、データ効率が向上することを示した。
• ユーティリティ指標は、意味予測の不確実性を低減する上で最も寄与する情報量の多い例文を的確に特定できた。
• 1,000文のデータセットを用いた実験により、冗長なアノテーションを最小限に抑えつつシステム精度を保持できることが確認された。
• 結果から、例ベースWSDシステムにおける選択的例文収集の基準としてトレーニングユーティリティが信頼できる指標であることが支持された。