[論文レビュー] Synthesizing Datalog Programs Using Numerical Relaxation

Xujie Si, Mukund Raghothaman+2 more|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Algorithms参考文献 12被引用数 14

ひとこと要約

この論文では、Datalogの数値的緩和手法であるDifflogを紹介する。Difflogは規則に実数値の重みを割り当てることで、Datalogプログラム合成における連続最適化を可能にする。ハイブリッドニュートン-MCMC最適化を用いて予測値とターゲット出力値の差を最小化することで、34のベンチマーク（特に再帰的かつ高アリティのプログラムを含む）において、最先端のシステムを大きく上回る性能で離散的Datalogプログラムを回復する。

ABSTRACT

The problem of learning logical rules from examples arises in diverse fields, including program synthesis, logic programming, and machine learning. Existing approaches either involve solving computationally difficult combinatorial problems, or performing parameter estimation in complex statistical models. In this paper, we present Difflog, a technique to extend the logic programming language Datalog to the continuous setting. By attaching real-valued weights to individual rules of a Datalog program, we naturally associate numerical values with individual conclusions of the program. Analogous to the strategy of numerical relaxation in optimization problems, we can now first determine the rule weights which cause the best agreement between the training labels and the induced values of output tuples, and subsequently recover the classical discrete-valued target program from the continuous optimum. We evaluate Difflog on a suite of 34 benchmark problems from recent literature in knowledge discovery, formal verification, and database query-by-example, and demonstrate significant improvements in learning complex programs with recursive rules, invented predicates, and relations of arbitrary arity.

研究の動機と目的

• 例からのDatalogプログラム合成における計算の難しさ、特に再帰的および新規述語を含む複雑なプログラムに対して解決するため。
• ノイズやスケーラビリティの問題を抱える既存の組み合わせ的探索および統計的学習手法の限界を克服するため。
• 規則選択を連続最適化問題に再定式化することで、効率的かつ頑健な合成を可能にするため。
• 並列処理と確率的サンプリングを活用して、決定的手法を超える速度向上を実現するため。
• 連続的緩和が、高い正確性と速度で正しい離散的Datalogプログラムの回復を可能にするかを実証するため。

提案手法

• Datalogに実数値の規則重みを拡張し、重み付き規則導出に基づいて出力タプルに数値値を割り当てる連続的意味論であるDifflogを構築する。
• プログラム合成を、計算された出力値とターゲットラベル（望ましいタプルは1、望ましくないタプルは0）のL2損失を最小化する問題に再定式化する。
• 局所的収束を図るニュートン法と、局所的最小値やサドルポイントからの脱出を可能にするMCMCベースのシミュレーテッドアニーリングを組み合わせたハイブリッド最適化戦略を採用する。
• Viterbi半環を用いてK-関係枠組みを具体化し、プロビジョニングに配慮した数値的推論を可能にする。
• 最適化後、規則重みをしきい値処理することで離散的Datalogプログラムを回復し、Difflogと古典的Datalog間の意味論的対応を活用する。
• 複数の独立した最適化インスタンスを並列に実行することで、確率的高速化を実現し、初期値依存性に対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 Datalog規則の数値的緩和は、複雑な論理的プログラムの合成におけるスケーラビリティと頑健性を向上させ得るか？
• RQ2 ニュートン法とMCMCベースのサンプリングを組み合わせることで、規則選択の非凸最適化表面を解く際に、純粋な最適化または純粋なサンプリング戦略を上回る性能を達成できるか？
• RQ3 確率的サンプリングを伴う連続的最適化は、決定的組み合わせ的探索に比べ、より高速かつ信頼性の高いDatalogプログラムの回復を可能にするか？
• RQ4 緩和ベースのアプローチは、再帰的規則、新規述語、任意アリティの関係に対しても表現力を維持できるか？
• RQ5 本手法は、知識抽出、形式的検証、データベースクエリ例示の分野における多様なベンチマークで最先端の性能を達成できるか？

主な発見

• Difflogは34のベンチマークのうち32件で100％の成功率を達成し、残り2件（downcast と rv-check）でのタイムアウトのみを記録。プログラム解析ベンチマークの10件中6件で中央値実行時間がAlpsを上回った。
• ハイブリッド最適化戦略により、ニュートン法単体と比較してタイムアウトが31倍、MCMC単体と比較して54倍減少し、探索と活用のバランスに優れていることが示された。
• 規則テンプレートの増加に伴い実行時間はわずかに増加し、学習データサイズに比例して線形にスケーリングされたことから、実用的なスケーラビリティが確認された。
• 32回の並列実行における最速実行時間は、常にAlpsを上回り、並列実行による確率的高速化が顕著に観察された。
• 再帰的プログラム、新規述語、任意アリティの関係を含む複雑なプログラムの合成に成功し、表現力と頑健性の両面で有効性が裏付けられた。
• 連続的最適解から離散的Datalogプログラムへの回復が効果的であり、成功したすべてのベンチマークで望ましい出力動作と一致した最終プログラムが得られた。