[論文レビュー] Directed Replacement

Lauri Karttunen|ArXiv.org|Jun 23, 1996

Natural Language Processing Techniques被引用数 26

ひとこと要約

この論文は、曖昧な文字列置換によって引き起こされる有限状態トランスデューサーにおける非決定性を解消するため、特定の方向付き置換演算子—特に、LEFT-TO-RIGHT、LONGEST-MATCH置換（UPPER @-> LOWER）—を導入する。左から右への走査と最長一致選択を強制することにより、下位言語が単一の文字列である場合に、一意なトランスデューサーが保証され、決定的トークン化、フィルタリング、および局所的文法解析が可能になる。

ABSTRACT

This paper introduces to the finite-state calculus a family of directed replace operators. In contrast to the simple replace expression, UPPER -> LOWER, defined in Karttunen (ACL-95), the new directed version, UPPER @-> LOWER, yields an unambiguous transducer if the lower language consists of a single string. It transduces the input string from left to right, making only the longest possible replacement at each point. A new type of replacement expression, UPPER @-> PREFIX ... SUFFIX, yields a transducer that inserts text around strings that are instances of UPPER. The symbol ... denotes the matching part of the input which itself remains unchanged. PREFIX and SUFFIX are regular expressions describing the insertions. Expressions of the type UPPER @-> PREFIX ... SUFFIX may be used to compose a deterministic parser for a ``local grammar'' in the sense of Gross (1989). Other useful applications of directed replacement include tokenization and filtering of text streams.

研究の動機と目的

• 下位言語が単一の文字列であっても、複数の出力を生じる標準的な置換操作（UPPER -> LOWER）における非決定性を解消すること。
• 左から右への走査と最長一致選択を強制することで、一意な出力を保証する置換メカニズムを設計すること。
• 正規表現に基づくパターンに対して、入力文字列の曖昧な解析を回避し、自然言語処理応用における決定的処理を可能にすること。
• 実用的なNLPタスクに適した、決定的で文脈に依存する置換を可能にする新しい演算子を有限状態計算に拡張すること。

提案手法

• 左から右への走査と各位置での最長一致部分文字列の選択を強制する、方向付き置換演算子 UPPER @-> LOWER を導入する。
• 正規関係の合成を用いて、方向付き置換関係を形式的に定義し、下位言語が単一の文字列である場合に一意なトランスデューサーが保証されることを保証する。
• 置換された部分文字列を保持し、指定された正規表現で囲むことのできる拡張形 UPPER @-> PREFIX ... SUFFIX を提案する。
• これらの演算子を用いて、トークン化、フィルタリング、および局所的文法解析のための決定的有限状態トランスデューサーを構築する。
• ラベル付き弧と終状態を用いた状態ベースのトランスデューサー構築法を採用し、標準的な正規表現表記を用いてトランスデューサーのプロセスを表現する。
• 方向制約を伴う並列置換（例：a+ @-> b, b+ @-> a）をサポートする拡張を提示し、方向付き制約を伴う条件付き・文脈制約付き置換の実装計画を策定する。

実験結果

リサーチクエスチョン

• RQ1 下位言語が単一の文字列である場合に、有限状態置換操作における非決定性はどのように排除できるか？
• RQ2 方向性と一致長に対するどのような制約が、文字列置換における一意なトランスデューサーを保証するか？
• RQ3 方向付き置換は、任意の正規パターンに対して有限状態トランスデューサーとして形式的に表現可能か？
• RQ4 新規演算子を用いて、局所的文法や句構造の決定的パーサーを構築できるか？
• RQ5 方向付き置換は、トークン化やフィルタリングなどのテキスト処理応用において、実用的にどのように活用できるか？

主な発見

• 下位言語が単一の文字列である限り、方向付き置換演算子 UPPER @-> LOWER は任意の入力文字列に対して一意の出力を生成し、曖昧性を排除する。
• 左から右への走査と最長一致戦略により、入力文字列の一意な因数分解が保証され、複数の部分文字列が上位パターンに一致する場合でも、トランスデューサーが一意になる。
• 拡張形 UPPER @-> PREFIX ... SUFFIX を用いることで、一致部分文字列を保持しつつ、指定された正規表現で周囲を囲むテキストの決定的挿入が可能になる。
• この方法により、所定の埋め込み深さまでに制限した文脈自由文法の解析を近似する決定的有限状態トランスデューサーを構築できる。
• 並列方向付き置換（例：a+ @-> b, b+ @-> a）は、追加の形式的枠組みを必要とせず、複数の同時置換においても決定的性を維持できる。
• このフレームワークは、非決定的置換操作の代替として決定的かつ効率的な手法を提供するため、トークン化、フィルタリング、局所的文法解析といった実用的応用をサポートする。