[論文レビュー] Emergent Linguistic Rules from Inducing Decision Trees: Disambiguating Discourse Clue Words

Eric V. Siegel, Kathleen McKeown|ArXiv.org|Aug 13, 1994

Natural Language Processing Techniques参考文献 18被引用数 24

ひとこと要約

本稿では、'and'、'say'、' doch' のような話題関係を示す語（discourse clue words）を、周辺の語彙的および標点の文脈を分析することで意味解釈を明確にするため、遺伝的アルゴリズムを用いた意思決定木の誘導手法を提案する。この手法は、言語的に解釈可能なルールを自動的に生成し、'and' で 76.44%、'say' で 83.33% の正解率を達成した。これは、個々の語に分けて処理するのではなく、複数の clue word を同時に解釈することで、一般化性能が向上することを示している。

ABSTRACT

We apply decision tree induction to the problem of discourse clue word sense disambiguation with a genetic algorithm. The automatic partitioning of the training set which is intrinsic to decision tree induction gives rise to linguistically viable rules.

研究の動機と目的

• 話題レベルの意味と文内の意味を併せ持つ discourse clue words の意味解釈の課題に対処すること。
• 個々の語に分けて処理するのではなく、複数の clue word を同時に学習することで、意味解釈の精度を向上させること。
• 意思決定木の誘導から、解釈可能性と文構造的依存関係の洞察を得るための言語的に意味のあるルールを自動で抽出すること。
• 局所的文脈（トークンと標点）に基づいて学習した意思決定木が、clue word の意味解釈に効果的に一般化できるかどうかを評価すること。
• 遺伝的アルゴリズムを用いた意思決定木の誘導法と、従来のトップダウン的再帰的分割法との性能を比較すること。

提案手法

• 遺伝的アルゴリズムを用いて、訓練データセットの正解率を最適化する意思決定木を誘導する。
• 意思決定木は、局所的文脈を特徴量として使用する：曖昧な語自体、その直前のトークン、直後のトークン、および直後まで最大4つのトークン。
• 訓練データセットは木の誘導中に自動的に分割され、clue word の使用に関する言語的一般化を反映するルールが生成される。
• 誘導された木からルールを抽出し、言語的妥当性と予測性能の両面で評価する。
• 性能は、再帰的分割法（Quinlan の C4.5 に類似）を用いたベースライン意思決定木と比較する。
• 本手法は、話題の英語発話トランスクリプトのコーパスで、clue word の意味解釈に注釈が付けられたデータに対して評価された。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムを用いた意思決定木の誘導は、局所的な語彙的および標点的文脈のみを用いて、話題関係語の意味解釈を効果的に可能にするか？
• RQ2 自動的に誘導されたルールは、話題関係語の使用に関する言語的に妥当な一般化を反映しているか？
• RQ3 個々の語のモデルではなく、複数の clue word を同時に解釈することで、学習と一般化が向上するか？
• RQ4 遺伝的アルゴリズムを用いた意思決定木の性能は、従来の再帰的分割法と比較してどうか？
• RQ5 意味解釈の正解率をさらに向上させるために、何らかの文法的または構造的情報が欠けているか？

主な発見

• 遺伝的アルゴリズムを用いた意思決定木の誘導は、'and' のテスト平均正解率が 76.44%、'say' で 70.00% を達成した。
• 本手法は、解釈可能な言語的ルールを生成した。例えば '直前の語が 'to' であれば、'say' は話題関係語である可能性が高い' といったルールは、言語的に意味のあるものとして検証された。
• 最も性能の良かった遺伝的アルゴリズムの木は、'and' で 76.44%、'say' で 83.33% の正解率を達成し、手作業で作成した意思決定木（75.60%）を上回った。
• 誘導されたルールは、隣接するトークンと曖昧語自体の情報が有効であることを示しており、広い文脈が必要ないことを示唆している。
• 本手法は、個々の語に特化したモデルよりも一般化性能に優れており、複数の clue word を通じて希少な事例を学習できることを示した。
• 遺伝的アルゴリズム手法の平均正解率（76.20%）は、トップダウン的再帰的分割法のベースライン（75.06%）と同等の性能であった。