[論文レビュー] Learning Semantic String Transformations from Examples

Rishabh Singh, Sumit Gulwani|arXiv (Cornell University)|Apr 26, 2012

Data Quality and Management参考文献 16被引用数 5

ひとこと要約

本論文は、テーブル照合と文法的変換を組み合わせることで意味的な文字列変換を学習する、例によるプログラミング（PBE）システムを提示している。この手法により、非プログラマーもスプレッドシートで複雑なデータ変換を自動化できる。アプローチは、わずかな入力-出力例から正しい変換を推論する帰納的合成アルゴリズムを用い、現実のスプレッドシート環境において高いスケーラビリティと使いやすさを達成している。

ABSTRACT

We address the problem of performing semantic transformations on strings, which may represent a variety of data types (or their combination) such as a column in a relational table, time, date, currency, etc. Unlike syntactic transformations, which are based on regular expressions and which interpret a string as a sequence of characters, semantic transformations additionally require exploiting the semantics of the data type represented by the string, which may be encoded as a database of relational tables. Manually performing such transformations on a large collection of strings is error prone and cumbersome, while programmatic solutions are beyond the skill-set of end-users. We present a programming by example technology that allows end-users to automate such repetitive tasks. We describe an expressive transformation language for semantic manipulation that combines table lookup operations and syntactic manipulations. We then present a synthesis algorithm that can learn all transformations in the language that are consistent with the user-provided set of input-output examples. We have implemented this technology as an add-in for the Microsoft Excel Spreadsheet system and have evaluated it successfully over several benchmarks picked from various Excel help-forums.

研究の動機と目的

• 非プログラマーがスプレッドシートで複雑で意味的認識を要する文字列変換を実行できるようにするという課題に対処すること。
• 意味的テーブル照合と文法的文字列操作を組み合わせた変換言語を設計し、表現力豊かなデータ処理を可能にすること。
• 最小限の入力-出力例から正しい変換を推論する帰納的合成アルゴリズムを開発し、エンドユーザーの使いやすさを向上させること。
• エクセルのヘルプフォーラムから得た実世界のベンチマークを用いてシステムを評価し、実用的応用性とスケーラビリティを示すこと。

提案手法

• 本論文は、リレーショナルテーブルの照合によって意味的な文字列変換を可能にする照合変換言語（Lt）を導入している。
• Ltに文法的変換（例：文字列連結、正規表現操作など）を拡張して、より表現力豊かな言語Luを構築している。
• 与えられた入力-出力例のセットと整合するLu内のすべての変換を推論するための合成アルゴリズムを設計している。
• ドメイン特化の知識に依存せずに、効率的な変換候補の探索を可能にする言語理論的アプローチを用いている。
• システムはエクセルアドインとして実装され、公開されたヘルプフォーラムからの実世界の例で評価されている。
• 文法的変換にはQuickCodeを活用し、意味的照合推論と統合している。

実験結果

リサーチクエスチョン

• RQ1 例によるプログラミングシステムは、日付、通貨、関係的テーブルエントリといったデータ型の理解を要する意味的な文字列変換を、実際に効果的に学習できるか？
• RQ2 わずかな入力-出力例から、意味的照合と文法的操作の両方を扱える合成アルゴリズムが、正しい変換をどのように推論できるか？
• RQ3 このようなシステムは、実世界のスプレッドシート利用事例において、スケーラビリティと実用的効果を発揮するか？
• RQ4 テーブル照合と文法的文字列操作を組み合わせることで、純粋に文法的または意味的アプローチに比べて表現力がどのように向上するか？

主な発見

• 合成アルゴリズムは、実世界のエクセル環境において、わずか2〜4例の入力-出力例からも、正しい意味的文字列変換を正しく学習できた。
• システムは、複数のテーブル照合と文字列操作を含む複雑な変換（例：マークアップ付きの価格計算）を処理でき、純粋に文法的ツールでは対応できない。
• 通常のスプレッドシートサイズのデータベースにおいても、良好なスケーラビリティを示し、エンドユーザー向けアプリケーションでリアルタイム性能を達成している。
• 公開されたエクセルフォーラムのベンチマークを用いた評価により、システムの実用的有用性と多様なデータ変換タスクにおける頑健性が確認された。