[论文解读] Directed Replacement

Lauri Karttunen|ArXiv.org|Jun 23, 1996

Natural Language Processing Techniques被引用 26

一句话总结

本文引入了定向替换算子——具体为从左到右、最长匹配替换（UPPER @-> LOWER）——以解决有限状态转移器中因字符串替换不明确而引起的非确定性问题。通过强制从左到右遍历和最长匹配选择，该方法在下层语言为单一字符串时确保了无歧义的转换，从而实现了确定性的分词、过滤和局部语法解析。

ABSTRACT

This paper introduces to the finite-state calculus a family of directed replace operators. In contrast to the simple replace expression, UPPER -> LOWER, defined in Karttunen (ACL-95), the new directed version, UPPER @-> LOWER, yields an unambiguous transducer if the lower language consists of a single string. It transduces the input string from left to right, making only the longest possible replacement at each point. A new type of replacement expression, UPPER @-> PREFIX ... SUFFIX, yields a transducer that inserts text around strings that are instances of UPPER. The symbol ... denotes the matching part of the input which itself remains unchanged. PREFIX and SUFFIX are regular expressions describing the insertions. Expressions of the type UPPER @-> PREFIX ... SUFFIX may be used to compose a deterministic parser for a ``local grammar'' in the sense of Gross (1989). Other useful applications of directed replacement include tokenization and filtering of text streams.

研究动机与目标

• 解决标准替换操作（UPPER -> LOWER）中的非确定性问题，即使下层语言是单一字符串，也会产生多个输出。
• 设计一种替换机制，通过强制从左到右遍历和最长匹配选择，确保唯一输出。
• 实现输入字符串相对于正则模式的无歧义解析，促进自然语言应用中的确定性处理。
• 扩展有限状态演算，引入新算子以支持确定性的、上下文敏感的重写，适用于实际的自然语言处理任务。

提出的方法

• 引入定向替换算子 UPPER @-> LOWER，强制执行从左到右的遍历，并在每个位置选择最长匹配的子串。
• 使用正则关系的复合运算形式化定义定向替换关系，当下的语言为单一字符串时，确保无歧义转换。
• 提出扩展形式 UPPER @-> PREFIX ... SUFFIX，其中匹配的子串保持不变，并在其周围插入指定的正则表达式。
• 将算子应用于构建用于分词、过滤和局部语法解析的确定性有限状态转移器。
• 采用基于状态的转移器构造方法，使用带标签的弧和终态来表示转换过程，使用标准正则表达式记法。
• 将框架扩展以支持定向并行替换（例如，a+ @-> b, b+ @-> a），并计划支持具有方向约束的条件性、上下文受限替换。

实验结果

研究问题

• RQ1 当下的语言是单一字符串时，如何消除有限状态替换操作中的非确定性？
• RQ2 对方向性和匹配长度施加何种约束可确保字符串替换中的无歧义转换？
• RQ3 定向替换能否以有限状态转移器的形式进行形式化编码，适用于任意正则模式？
• RQ4 新算子如何用于构建局部语法或句法结构的确定性解析器？
• RQ5 定向替换在文本处理中的实际应用有哪些，例如分词和过滤？

主要发现

• 当下的语言是单一字符串时，定向替换算子 UPPER @-> LOWER 对任意输入字符串均产生唯一输出，消除了歧义。
• 从左到右、最长匹配策略确保了输入字符串的唯一因子分解，即使有多个子串匹配上层模式，转换过程也保持无歧义。
• 扩展形式 UPPER @-> PREFIX ... SUFFIX 允许在保持原始匹配内容不变的前提下，对匹配子串周围进行确定性文本插入。
• 该方法可构建确定性有限状态转移器，其对上下文无关文法解析的逼近深度可选。
• 定向并行替换（如 a+ @-> b, b+ @-> a）可无需额外形式化即可实现，且在多个同时替换中保持确定性。
• 该框架通过提供一种确定性、高效的替代方案，支持分词、过滤和局部语法解析等实际应用，替代非确定性替换操作。