[論文レビュー] Learn to Explain Efficiently via Neural Logic Inductive Learning

Yuan Yang, Le Song|arXiv (Cornell University)|Oct 6, 2019

Topic Modeling参考文献 34被引用数 10

ひとこと要約

本稿では、モデルの説明に適した長く解釈可能な一階論理規則を効率的に学習できる微分可能で帰納的論理プログラミング（ILP）フレームワーク、Neural Logic Inductive Learning（NLIL）を提案する。階層的に規則探索空間を分解し、アテンション機構を用いることで、最先端の手法と比較して10倍長い規則探索と3倍速い学習が可能となり、Visual Genomeのような100万エンティティを含む大規模データセットにもスケーリング可能でありながら、最小限のデータで高い予測性能を維持する。

ABSTRACT

The capability of making interpretable and self-explanatory decisions is essential for developing responsible machine learning systems. In this work, we study the learning to explain problem in the scope of inductive logic programming (ILP). We propose Neural Logic Inductive Learning (NLIL), an efficient differentiable ILP framework that learns first-order logic rules that can explain the patterns in the data. In experiments, compared with the state-of-the-art methods, we find NLIL can search for rules that are x10 times longer while remaining x3 times faster. We also show that NLIL can scale to large image datasets, i.e. Visual Genome, with 1M entities.

研究の動機と目的

• 従来の帰納的論理プログラミング（ILP）手法における解釈可能性とスケーラビリティの欠如に対処すること。
• 関係データから、グローバルに一貫性があり、人間が解釈可能な一階論理規則を学習できる微分可能でスケーラブルなILPフレームワークの開発。
• 特に視覚および知識ベースタスクにおいて、教師あり機械学習のモデル説明のための効率的規則学習を可能にすること。
• 数百万エンティティを含む大規模データセットにILPをスケーリングしながら、規則の表現力と予測性能を維持すること。

提案手法

• NLILは、規則構造、変数バインディング、規則インスタンスの3つの部分空間に分割する階層的・分割統治戦略を導入し、規則探索空間を分解する。
• 階層的な探索空間を効率的に探索できるように、アテンション機構を採用することで、長大な規則のスケーラブルな探索を可能にする。
• 規則生成と規則評価を分離し、規則生成を予測子タイプにのみ依存させることで、知識ベース全体にわたるグローバルな一貫性を保証する。
• トランスフォーマーに基づくアーキテクチャを採用し、ターゲット予測子ごとに軽量なモデルを別々に使用することで、効率性とスケーラビリティを向上させる。
• 画像データセットからのシーングラフを関係的知識ベースとして活用し、それらを規則誘導用のKBに変換する。
• 論理演算の微分可能緩和を用いてエンドツーエンドで学習することで、勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分可能なILPフレームワークは、数百万エンティティを含む大規模関係データセットにスケーリング可能であり、同時に規則の表現力を維持できるか？
• RQ2 NLILは、既存の手法と比較して、計算効率を保ちながら、より長く複雑な一階論理規則を学習できるか？
• RQ3 学習された記号的規則は、密なニューラルモデルと同等の予測性能を示すことができるか、特に限られた学習データ条件下でも？
• RQ4 NLILが生成する規則は、表面的な相関関係を越えて、関係データに意味的で一般化可能なパターンを捉えられるか？

主な発見

• NLILは、NeuralLPなどの最先端手法と比較して、10倍長い規則探索能力と3倍速い学習速度を達成した。
• 100万エンティティを含むVisual Genomeデータセットにおいて、NLILはR@1が0.51、R@5が0.52を達成し、頻度ベースライン（R@1: 0.40）を上回り、教師ありMLP-RCNNベースライン（R@1: 0.53）に近い性能を示した。
• 学習データの1％未満でも、NLILは安定したR@1スコアを維持しており、優れたデータ効率性と一般化性能を示した。
• 学習された規則は、非自明で常識的なパターン（例：「Xが車の中にいるかつ服を着ているならば、Xは人物である」）を捉えており、表面的な相関関係を越えた意味のあるパターンを示している。
• NLILは規則長に応じて効率的にスケーリングする：NLILでは規則長32の学習時間は、NeuralLPの規則長3と同等であり、探索空間の対数的成長のおかげである。
• FB15KではRotatEに劣るが、TransEと同等の性能を示し、記号的規則は解釈可能でグローバルに一貫性がある。