[論文レビュー] General-purpose Declarative Inductive Programming with Domain-Specific Background Knowledge for Data Wrangling Automation

Lidia Contreras-Ochando, Cèsar Ferri+4 more|arXiv (Cornell University)|Sep 26, 2018

Logic, Reasoning, and Knowledge参考文献 20被引用数 3

ひとこと要約

本論文は、分野特有の背景知識を統合することで、最小限の例からデータウェッジングタスクを自動化する汎用的宣言的帰納的プログラミング手法を提案する。関数型プログラミング言語と分野特有のライブラリ、およびIPシステム（MagicHaskeller）を統合することで、多様なデータフォーマットにおいて高い正確性を達成し、FlashFillを上回る性能を発揮するとともに、ユーザー定義の分野ファイルを通じて拡張性を実現する。

ABSTRACT

Given one or two examples, humans are good at understanding how to solve a problem independently of its domain, because they are able to detect what the problem is and to choose the appropriate background knowledge according to the context. For instance, presented with the string "8/17/2017" to be transformed to "17th of August of 2017", humans will process this in two steps: (1) they recognise that it is a date and (2) they map the date to the 17th of August of 2017. Inductive Programming (IP) aims at learning declarative (functional or logic) programs from examples. Two key advantages of IP are the use of background knowledge and the ability to synthesise programs from a few input/output examples (as humans do). In this paper we propose to use IP as a means for automating repetitive data manipulation tasks, frequently presented during the process of {\em data wrangling} in many data manipulation problems. Here we show that with the use of general-purpose declarative (programming) languages jointly with generic IP systems and the definition of domain-specific knowledge, many specific data wrangling problems from different application domains can be automatically solved from very few examples. We also propose an integrated benchmark for data wrangling, which we share publicly for the community.

研究の動機と目的

• 多様な分野にわたるデータウェッジングタスクにおける高い人的作業負荷と、体系的な自動化の欠如に対処すること。
• FlashFillのような既存ツールの限界を克服すること。これらは、背景知識が不十分なため、複雑または曖昧なデータフォーマットでは失敗する。
• 宣言的で関数型プログラミングおよび分野特有の知識を用いて、1〜2例の入出力例からの自動プログラム合成を可能にすること。
• 再現可能性を確保し、将来のデータウェッジングツールの評価を促進するために、公開可能なベンチマークデータセットを提供すること。
• 汎用的関数型プログラミングと分野特有の背景知識の組み合わせが、スケーラブルで拡張可能かつ正確なデータ変換を可能にすることを実証すること。

提案手法

• プログラム合成のターゲット言語として、汎用的関数型プログラミング言語（Haskell）を採用する。
• 特定のデータ型（日付、住所、名前など）に関連する関数と制約を含む、分野特有の背景知識（DSBK）ライブラリを統合する。
• 帰納的プログラミングシステム（MagicHaskeller）を活用し、1〜2例の入出力例から正しい変換プログラムを推論する。
• 関数型言語を用いて分野特有のライブラリを定義することで、ユーザーが新しいデータ型に対応するための拡張・カスタマイズを可能にする。
• 背景知識に従った仮説駆動探索戦略を採用し、探索空間を縮小し、合成の効率を向上させる。
• 6つの分野（日付、メールアドレス、電話番号、名前など）にまたがる18のデータセットから構成される、新たに作成された公開ベンチマークを用いてシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 分野特有の背景知識を統合した汎用的帰納的プログラミングシステムは、最小限の例からデータウェッジングタスクを自動化できるか？
• RQ2 分野特有の知識の統合は、FlashFillのようなDSLベースのシステムと比較して、プログラム合成の正確性と頑健性をどの程度向上させるか？
• RQ3 1つの拡張可能なフレームワークが、再設定や再トレーニングなしに複数の分野にまたがる多様なデータウェッジング問題をどの程度処理できるか？
• RQ4 多様で現実世界のデータウェッジング問題を含む公開共有ベンチマークは、再現可能な評価を可能にし、ツール開発を促進できるか？
• RQ5 合成されたプログラムの深さ（プリミティブ数）と背景知識ライブラリのサイズは、合成のパフォーマンスにどの程度影響を与えるか？

主な発見

• 提案されたDSIベースのアプローチは、特に複数のフォーマットで日付を扱うような複雑なデータウェッジングタスクにおいて、FlashFillを上回った。FlashFillは文脈的知識が不足していたため、失敗した。
• ベンチマークの18のデータセットのうち17つで、正しく合成されたプログラムを達成した。特に曖昧な日付フォーマットや非標準的な句読点を含む困難なケースでも成功した。
• 1つの例のみを用いても、テストした全分野で高い正確性を達成した。これは、分野特有の背景知識が合成を効果的に導くことの有効性を示している。
• 関数型プログラミングと分野特有のライブラリの統合により、深さ（d）が小さい、簡潔で人間が読みやすいプログラムが得られ、効率的でコンactな解決策が実現した。
• https://github.com/liconoc/DataWrangling-DSI で公開されているベンチマークリポジトリは、将来のデータウェッジングツールの評価に再利用可能で、詳細なドキュメントが整ったデータセットを提供する。
• 本アプローチは拡張可能である。ユーザーは汎用的関数型言語で新しい分野ファイルを定義でき、システムの再設計なしに新しいデータ型に適応できる。