[論文レビュー] RelNN: A Deep Neural Model for Relational Learning

Seyed Mehran Kazemi, David Poole|arXiv (Cornell University)|Dec 7, 2017

Bayesian Modeling and Causal Inference被引用数 17

ひとこと要約

この論文では、潜在的オブジェクト属性を直接的および一般化規則を通じてモデル化できる複数の隠れ層を追加することで、関係的論理回帰を拡張した深層ニューラルネットワークアーキテクチャであるRelNNを紹介する。バックプロパゲーションとモジュール型のレイヤー単位設計を用いることで、3つの実世界データセットにおける8つのタスクで最先端の性能を達成し、従来のモデルが集約処理やオブジェクト属性予測で困難を抱える中で、スケーラビリティと一般化性能の向上を示している。

ABSTRACT

Statistical relational AI (StarAI) aims at reasoning and learning in noisy domains described in terms of objects and relationships by combining probability with first-order logic. With huge advances in deep learning in the current years, combining deep networks with first-order logic has been the focus of several recent studies. Many of the existing attempts, however, only focus on relations and ignore object properties. The attempts that do consider object properties are limited in terms of modelling power or scalability. In this paper, we develop relational neural networks (RelNNs) by adding hidden layers to relational logistic regression (the relational counterpart of logistic regression). We learn latent properties for objects both directly and through general rules. Back-propagation is used for training these models. A modular, layer-wise architecture facilitates utilizing the techniques developed within deep learning community to our architecture. Initial experiments on eight tasks over three real-world datasets show that RelNNs are promising models for relational learning.

研究の動機と目的

• オブジェクト間の依存関係がオブジェクトや関係性ごとに異なる場合に、関係データにおけるオブジェクト属性の予測という課題に対処すること。
• 従来のモデルがオブジェクト属性を無視するか、過学習や固定された集約関数のための一般化に失敗するという制限を克服すること。
• 明示的および隠れたオブジェクト属性を微分可能なルールベースの推論を通じて学習できるスケーラブルな深層ニューラルネットワークフレームワークを構築すること。
• バックプロパゲーションによるエンドツーエンド学習を可能にしながら、深層学習技術との統合を維持するモularityを保つこと。
• 従来のモデルが集団サイズの増加に伴い過信しやすくなる大規模な関係的ドメインにおける一般化性能の向上を図ること。

提案手法

• RelNNは、関係的論理回帰（RLR）の複数のレイヤーを積み重ねることで構築され、関係データ全体にわたる階層的・非線形な特徴抽出を可能にする。
• 各レイヤーは、グラウンドアトムに適用される重み付きで微分可能なルールを通じて、オブジェクト属性の潜在的表現を学習し、パラメータはバックプロパゲーションで更新される。
• モデルはオブジェクト属性の直接的学習と、一般規則を通じた間接的学習の両方を可能にし、柔軟な関係的推論を実現する。
• モジュール型でレイヤー単位のアーキテクチャにより、活性化関数や正規化技術などの深層学習プリミティブとの統合が可能になる。
• エンベッディングの要素ごとの演算（例：ドット積）を用いてルールの活性化を計算することで、ConvNetの動作に類似し、解釈可能性とスケーラビリティを向上させる。
• 学習の計算複雑度はデータサイズとモデルサイズに線形に比例し、最大100万件の観測を含む大規模ドメインでも効率的な学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 微分可能でスケーラブルな方法で、オブジェクト属性と関係的依存関係を同時に学習できる深層ニューラルネットワークアーキテクチャを設計できるか？
• RQ2 関係的モデルに複数の隠れ層を組み込むことで、浅いモデルと比較して集約タスクにおける性能がどのように向上するか？
• RQ3 統合的な深層学習フレームワーク内で、潜在的オブジェクト属性を直接的および一般規則を通じて学習できる範囲はどの程度か？
• RQ4 RelNNのモジュール型でレイヤー単位の設計は、従来の関係的深層学習モデルと比較して、より優れた一般化性能とスケーラビリティを実現できるか？
• RQ5 RelNNは、集団サイズの増加に伴い従来のモデルで観察される過信問題を緩和できるか？

主な発見

• RelNNは、3つの実世界データセットにおける8つのタスクで、複数の既存の関係的学習モデルを上回る予測性能を示した。
• オブジェクト属性が関連するオブジェクトや関係性の数に応じて変動する集約問題を効果的に処理できた。
• テンソル因子分解やRNNベースのモデルが訓練ラベルを記憶したり、入力順序が変わると失敗したりするのに対し、RelNNは一般化性能に優れた結果を示した。
• モジュール型アーキテクチャにより、データサイズとモデルサイズに比例する複雑度で効率的な学習が可能となり、大規模ドメインへのスケーラビリティを実現した。
• 関係計算グラフを介したバックプロパゲーションにより、ルールの重みと潜在的オブジェクト表現の両方をエンドツーエンドで学習可能となった。
• 平均値やノイズありORなどの固定関数に依存するのではなく、柔軟でデータ駆動型の集約関数を学習することで、大規模集団における過信を軽減した。