[论文解读] Finite-State Non-Concatenative Morphotactics

Kenneth R. Beesley, Lauri Karttunen|arXiv (Cornell University)|Jun 30, 2000

Natural Language Processing Techniques参考文献 15被引用 12

一句话总结

本文介紹了編譯-替換（compile-replace）演算法，這是一種將有限狀態正規表示式編譯器反覆套用於其自身輸出的技術，使有限狀態轉換器能模擬非連接性語 morphotactics，例如馬來語的完整詞幹重複與阿拉伯語的詞幹交織。此方法突破了傳統有限狀態語 morphologie 的根本限制，將語 morphotactic 的描述範圍從連接性擴展至非連接性，允許完整使用有限狀態運算，並顯著提升語 morphological 分析與生成的編譯效率與表達能力。

ABSTRACT

Finite-state morphology in the general tradition of the Two-Level and Xerox implementations has proved very successful in the production of robust morphological analyzer-generators, including many large-scale commercial systems. However, it has long been recognized that these implementations have serious limitations in handling non-concatenative phenomena. We describe a new technique for constructing finite-state transducers that involves reapplying the regular-expression compiler to its own output. Implemented in an algorithm called compile-replace, this technique has proved useful for handling non-concatenative phenomena; and we demonstrate it on Malay full-stem reduplication and Arabic stem interdigitation.

研究动机与目标

• 解決有限狀態語 morphologie 長期以來無法處理非連接性過程（如重複與詞幹交織）的限制。
• 克服傳統有限狀態系統僅依賴連接作為唯一語 morphotactic 運算的依賴性。
• 發展一種通用演算法，擴展有限狀態轉換器在語 morphological 描述上的表達能力。
• 在實際語言（如馬來語與阿拉伯語）上展示此方法的有效性。
• 在維持完整語言準確性的前提下，縮短編譯時間並提升系統效率。

提出的方法

• 編譯-替換演算法將正規表示式編譯器反覆套用於其自身輸出，將編譯後的有限狀態網路轉換為修改過但仍為有限狀態的結構。
• 此方法允許在語 morphotactic 描述中使用任意有限狀態運算（如交集、反轉與取代），突破連接性的限制。
• 在中間編譯步驟中於字串內插入特殊標記符號（例如 'XX'），以隔離並操作結構元件。
• 將取代轉換器與網路組合，以複雜運算（如交集與反轉）取代標記。
• 此技術分為兩個階段應用：首先識別候選字串（如迴文或重複形式），再過濾出符合所需結構條件者。
• 此方法在 Xerox 有限狀態框架中實作，使用 lexc、取代規則與編譯-替換程序，支援分析與生成。

实验结果

研究问题

• RQ1 有限狀態語 morphologie 是否可擴展以處理非連接性現象，如完整詞幹重複與詞幹交織？
• RQ2 是否可能在支援複雜語 morphotactic 運算（超越連接）的同時，維持有限狀態系統的效率與規律性？
• RQ3 如何將正規表示式編譯器遞迴套用於其自身輸出，以產生更具表達力的語 morphological 網路？
• RQ4 將編譯-替換技術套用於大型語 morphological 系統時，可達成哪些效能提升？
• RQ5 此方法是否可推廣至馬來語與阿拉伯語以外的其他非連接性過程？

主要发现

• 編譯-替換演算法成功模擬馬來語完整詞幹重複，透過插入標記與有限狀態運算識別並處理詞幹重複。
• 此方法能精確模擬阿拉伯語詞幹交織，允許複雜語素重排與內部結構操作。
• 套用編譯-替換技術後，阿拉伯語語 morphological 系統的編譯時間由數小時縮短至數分鐘。
• 此技術僅需數秒即可從 25,000 個字詞的詞彙中高效提取所有迴文，展現其在非平凡字串模式辨識上的強大能力。
• 此方法在維持有限狀態系統數學優雅性與效率的同時，大幅擴展其語言表達能力。
• 此方法具通用性與可擴充性，已證實適用於其他非連接性語 morphological 現象，不僅限於兩項案例研究。