[論文レビュー] Lifted Relational Neural Networks

Gustav Šourek, Vojtech Aschenbrenner+2 more|arXiv (Cornell University)|Aug 20, 2015

Bayesian Modeling and Causal Inference参考文献 27被引用数 36

ひとこと要約

この論文では、重み付き関係的規則から例に特化したニューラルネットワーク構造を展開することで、関係的論理とディープフィードフォワードニューラルネットワークを統合するフレームワークであるリフトド関係的ニューラルネットワーク（LRNNs）を紹介する。この手法により、共有でルールに束縛された重みを通じて、潜在的な関係的概念のエンドツーエンド学習が可能となり、78の関係的学習ベンチマークで最先端の性能を達成し、解釈可能な関係的パターンの効果的同定を示した。

ABSTRACT

We propose a method combining relational-logic representations with neural network learning. A general lifted architecture, possibly reflecting some background domain knowledge, is described through relational rules which may be handcrafted or learned. The relational rule-set serves as a template for unfolding possibly deep neural networks whose structures also reflect the structures of given training or testing relational examples. Different networks corresponding to different examples share their weights, which co-evolve during training by stochastic gradient descent algorithm. The framework allows for hierarchical relational modeling constructs and learning of latent relational concepts through shared hidden layers weights corresponding to the rules. Discovery of notable relational concepts and experiments on 78 relational learning benchmarks demonstrate favorable performance of the method.

研究の動機と目的

• 関係的データを対象とした、関係的論理とニューラルネットワークを統合するディープラーニングフレームワークの開発。
• リフトアーキテクチャにおいて、共有でルールに束縛された重みを通じて、潜在的な関係的構造の学習を可能にすること。
• 関係的データから解釈可能な関係的概念の階層的モデリングと同定を支援すること。
• 多様な関係的学習ベンチマークで最先端の性能を達成すること。
• 関係的表現学習に対して柔軟で、解釈可能かつスケーラブルな手法を提供すること。

提案手法

• フレームワークは、重み付き関係的規則（例：一階論理におけるもの）の集合をテンプレートとして用い、例に特化したニューラルネットワークアーキテクチャを展開する。
• 各グランドニューラルネットワークは、与えられた例の関係的構造に基づいて構築され、共有重みが下位の規則に束縛される。
• 確率的勾配降下法を用いて重みを更新することで、異なる例に特化したネットワーク間でのパrameterの共進化を可能にする。
• 再帰的規則適用と潜在的概念学習のための共有隠れ層を介して、階層的モデリングをサポートする。
• 関係的規則は手動で作成するか、インダクティブ論理プログラミングなどの技術を用いて学習可能である。
• アーキテクチャは、関係的分類タスクに特化した活性化関数および損失関数をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのテンプレートとエンドツーエンドの誤差逆伝播を組み合わせることで、リフトドニューラルネットワークフレームワークは関係的データから効果的に学習できるか？
• RQ2 明示的な特徴工学を伴わずに、意味のある潜在的関係的概念を同定できるか？
• RQ3 例に特化したネットワーク間で共有される重み機構は、関係的ベンチマークにおける汎化性能と性能向上に寄与するか？
• RQ4 LRNNの性能は、既存の最先端の関係的学習システムと比較してどうなるか？
• RQ5 複雑な関係的データセットに対しても、学習された規則の解釈可能性を維持しながらスケーラブルか？

主な発見

• LRNNsは78の関係的学習ベンチマークで最先端の性能を達成し、kFOIL や nFOIL といった既存手法を上回った。
• Mutagenesisデータセットでは、変異原性に影響を与えることが知られる化学的に意味のある原子鎖（例：C-C-F、N-O、C-Cl）を同定した。
• 学習された規則重みの可視化により、分子構造内の特定の原子群合を表す解釈可能な潜在的概念（例：Kappa1–Kappa3）が明らかになった。
• PTC-mr、DMS_114、NCI_H522 といった多様なデータセットにおいても、予測誤差の継続的改善を示し、良好な性能を発揮した。
• 実験により、フレームワークが従来のEMアルゴリズムに依存する高コストなリフトドモデルの限界を克服し、潜在的関係的構造のパrameterを効果的に学習できることを確認した。
• 共有隠れ層を通じた補助的関係的概念の誘導に成功し、階層的関係的表現学習の能力を裏付けた。