[论文解读] Learning Semantic String Transformations from Examples

Rishabh Singh, Sumit Gulwani|arXiv (Cornell University)|Apr 26, 2012

Data Quality and Management参考文献 16被引用 5

一句话总结

本文提出了一种基于示例的编程系统，通过结合查表和语法操作来学习语义字符串转换，使非程序员能够在电子表格中自动化复杂的数据转换。该方法使用归纳合成算法，仅需少量输入-输出示例即可推断出正确的转换，实现在真实电子表格场景中的高可扩展性和易用性。

ABSTRACT

We address the problem of performing semantic transformations on strings, which may represent a variety of data types (or their combination) such as a column in a relational table, time, date, currency, etc. Unlike syntactic transformations, which are based on regular expressions and which interpret a string as a sequence of characters, semantic transformations additionally require exploiting the semantics of the data type represented by the string, which may be encoded as a database of relational tables. Manually performing such transformations on a large collection of strings is error prone and cumbersome, while programmatic solutions are beyond the skill-set of end-users. We present a programming by example technology that allows end-users to automate such repetitive tasks. We describe an expressive transformation language for semantic manipulation that combines table lookup operations and syntactic manipulations. We then present a synthesis algorithm that can learn all transformations in the language that are consistent with the user-provided set of input-output examples. We have implemented this technology as an add-in for the Microsoft Excel Spreadsheet system and have evaluated it successfully over several benchmarks picked from various Excel help-forums.

研究动机与目标

• 解决非程序员在电子表格中执行复杂、语义感知字符串转换的挑战。
• 设计一种结合语义查表与语法字符串操作的转换语言，以实现表达性强的数据处理。
• 开发一种归纳合成算法，从最少的输入-输出示例中推断出正确的转换，提升最终用户的易用性。
• 在来自 Excel 帮助论坛的真实世界基准上评估系统，证明其在实际应用中的适用性和可扩展性。

提出的方法

• 本文引入了一种查找转换语言（Lt），通过关系表查找实现语义字符串转换。
• 通过扩展 Lt 以支持语法转换（如字符串连接、正则表达式操作）形成更具表达力的语言 Lu。
• 设计了一种合成算法，以推断与给定输入-输出示例一致的所有 Lu 中的转换。
• 该算法采用语言理论方法，高效探索可能转换的空间，而无需依赖领域特定知识。
• 该系统实现为一个 Excel 插件，并在公共帮助论坛中的真实世界示例上进行了评估。
• 该方法利用 QuickCode 实现语法转换，并将其与语义查找推理相结合。

实验结果

研究问题

• RQ1 基于示例的系统能否有效学习需要理解数据类型（如日期、货币和关系表条目）的语义字符串转换？
• RQ2 合成算法如何仅从少量输入-输出示例中推断出正确的转换，同时处理语义查找和语法操作？
• RQ3 此类系统在真实世界电子表格使用场景中的可扩展性和实际有效性如何？
• RQ4 将查表与语法字符串操作结合，相比纯粹的语法或语义方法，如何提升表达能力？

主要发现

• 合成算法在真实世界 Excel 场景中，仅需两到四个输入-输出示例，即可成功推断出正确的语义字符串转换。
• 该系统能够处理涉及多个表查找和字符串操作的复杂转换，例如计算含加价的售价，这是纯语法工具无法解决的。
• 该方法在典型大小的电子表格数据库上表现出良好的可扩展性，支持最终用户应用的实时性能。
• 在公共 Excel 论坛基准上的评估证实了该系统在多样化数据转换任务中的实际效用和鲁棒性。