[論文レビュー] Classifying Cue Phrases in Text and Speech Using Machine Learning

Diane Litman|ArXiv.org|May 9, 1994

Natural Language Processing Techniques参考文献 18被引用数 17

ひとこと要約

本稿では、プロソディックおよびテクスト特徴を用いて、テキストおよびスピーチにおけるキュー・フレーズを話法的または文的用途に自動分類するために機械学習（cgrendel および C4.5）を適用している。学習されたモデルが手作業で作成されたルールを上回ることを示しており、特にトークンレベルの区別と組み合わせ特徴を組み込むことで、より低い誤差率を達成している。また、スケーラブルで反復可能なルールの最適化を可能としている。

ABSTRACT

Cue phrases may be used in a discourse sense to explicitly signal discourse structure, but also in a sentential sense to convey semantic rather than structural information. This paper explores the use of machine learning for classifying cue phrases as discourse or sentential. Two machine learning programs (Cgrendel and C4.5) are used to induce classification rules from sets of pre-classified cue phrases and their features. Machine learning is shown to be an effective technique for not only automating the generation of classification rules, but also for improving upon previous results.

研究の動機と目的

• 話法的および文的文脈におけるキュー・フレーズの分類ルールの自動生成を目的とする。
• 機械学習が、キュー・フレーズの分類ルールを手作業で作成するのを上回るかどうかを評価すること。
• 話法的と文的使用の区別に、プロソディックおよびテクスト特徴がどの程度有効であるかを調査すること。
• 新しいデータが利用可能になるたびに、スケーラブルかつ反復的なモデル更新を可能とし、静的で人為的に構築されたルールの制限を克服すること。

提案手法

• 75分の技術的トークから抽出した1,043個のキュー・フレーズ・トークンを含む事前に分類済みコーパスを用いて、cgrendel および C4.5 の2つの機械学習システムを訓練した。
• プロソディック（ピッチアクセント、フレーズ内位置、境界トーン）およびテクスト特徴（品詞、標点、隣接するキュー・フレーズ）を含む豊富な特徴セットを用いた。
• 一部の実験では、分類精度の向上を図るため、各キュー・フレーズを個別のトークンとして扱った。
• Hirshberg & Litman (2000) が提示した手作業で作成されたルールと比較し、誤差率とルール内容を評価指標とした。
• 50%の訓練データと50%のテストデータに分割し、妥当性を確保するため交差検証を実施した。
• 孤立したプロソディック特徴と、プロソディック・テクスト特徴の組み合わせを含む、特徴の組み合わせを検討し、相対的な有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 機械学習は、キュー・フレーズの分類ルールの自動生成を効果的に実現できるか？
• RQ2 学習されたモデルの精度は、キュー・フレーズ分類において手作業で作成されたルールを上回るか？
• RQ3 プロソディック、テクスト、または組み合わせ特徴の中で、どれがキュー・フレーズ分類の正確性に最も寄与しているか？
• RQ4 トークンID（つまり、特定のキュー・フレーズそのもの）を含めることで、分類性能にどのような影響があるか？
• RQ5 機械学習モデルは、新しいデータを段階的に追加することで更新可能であり、静的で人為的に構築されたルールを上回る性能を発揮できるか？

主な発見

• C4.5 および cgrendel の最良モデルは、トークン特徴を使用しなくても、Hirshberg & Litman (2000) が報告した21%の誤差率を下回った。
• トークン特徴の組み込みにより性能が顕著に向上し、特に非接続節サブコーパスでは誤差率が21%未満に低下した。
• プロソディック特徴を単独で使用した場合、『イントネーションフレーズ内での位置』のみが有用であったが、トークンと組み合わせると、ピッチアクセントなどの追加特徴も情報として有効になった。
• 学習されたルールセットは、特に大規模なデータセットで訓練された場合、手作業で作成されたルールよりも言語的に正確で汎用性に優れていた。
• 機械学習により、新しいデータを用いた効率的なモデル再訓練が可能となり、静的で人為的に構築されたモデルの制限を克服する動的ルール最適化が可能となった。
• 本研究は、機械学習がルール生成の自動化に有効であるだけでなく、人為ベースライン性能を上回る分類精度の向上にも有効であることを確認した。