[論文レビュー] Unsupervised Neural-Symbolic Integration

Son N. Tran|arXiv (Cornell University)|Jun 6, 2017

Bayesian Modeling and Causal Inference参考文献 1被引用数 5

ひとこと要約

本稿では、Confidence Rules を用いて命題論理および一階論理の規則を制限付きボルツマンマシン（RBMs）に埋め込むことで、教師なしの神経記号統合フレームワークを提案する。この手法により、教師ラベルを必要とせず、効率的かつ解釈可能な推論が可能になる。エネルギーに基づく推論とオートエンコーダーによる再構成を活用することで、親族関係推論で100%の正確性を達成し、DNAプロモーター予測においても有効な性能を示す。

ABSTRACT

Symbolic has been long considered as a language of human intelligence while neural networks have advantages of robust computation and dealing with noisy data. The integration of neural-symbolic can offer better learning and reasoning while providing a means for interpretability through the representation of symbolic knowledge. Although previous works focus intensively on supervised feedforward neural networks, little has been done for the unsupervised counterparts. In this paper we show how to integrate symbolic knowledge into unsupervised neural networks. We exemplify our approach with knowledge in different forms, including propositional logic for DNA promoter prediction and first-order logic for understanding family relationship.

研究の動機と目的

• 教師なし学習フレームワークにシンボリック知識を統合できるようにすることで、シンボリック AI と教師なしニューラルネットワークを統合すること。
• 教師ありニューラル記号システムが出力クラスにのみ推論を制限するという限界を克服し、教師なしモデルにおいて完全で対称的な推論を可能にすること。
• ヒューリスティック的または階層的近似を避けることにより、命題論理および一階論理規則を RBMs に一般かつ損失なしに符号化すること。
• 本フレームワークの実用的有効性を、DNAプロモーター予測と親族関係推論の2つの分野において実証すること。
• 教師なし RBMs にシンボリック制約を適用することで、推論にラベルデータを必要とせず、高精度な推論タスクを達成できることを示すこと。

提案手法

• シンボリック知識を、信頼度値を伴う命題論理式である Confidence Rules として表現し、RBM エネルギー関数への直接的なマッピングを可能にする。
• RBM エネルギーの最小化と Confidence Rules の重み付き充足可能性の最大化の等価性を活用し、神経ネットワーク内でもシンボリック推論が保持されることを保証する。
• if-then（Horn節）規則を、標準形（DNF）への変換により Confidence Rules に変換し、規則の分離を必要とせず、効率的な符号化を実現する。
• 制限付きボルツマンマシン（RBMs）をベースとするニューラルアーキテクチャとして採用し、推論にはギブスサンプリング、推論にはエネルギー最小化を活用する。
• 符号化されたシンボリック入力から関係特徴を再構成するため、RBM の上流にオートエンコーダーを適用し、関係構造の教師なし学習を可能にする。
• 二段階モデルを採用：左側の RBM にシンボリック規則を符号化し、右側のオートエンコーダー部で未知の関係を再構成により推論する。

実験結果

リサーチクエスチョン

• RQ1 命題論理および一階論理形式のシンボリック知識を、教師なしニューラルネットワークに損失なしに符号化できるか？
• RQ2 Confidence Rules を用いることで、RBM のようなエネルギーベースのニューラルネットワーク内で、シンボリック規則を表現・推論できるか？
• RQ3 提案手法は、教師ありネットワークとは異なり、教師なし設定においても完全で対称的な推論（例：任意の2つの変数から任意の変数を推論）を可能にするか？
• RQ4 本フレームワークは、DNAプロモーター予測や親族関係推論といった実世界の推論タスクにおいて、どの程度有効であるか？
• RQ5 関係間でパラメータを共有する教師なし学習を用いることで、行列ベースの判別的アプローチに比べ、関係的推論において優れた性能を発揮するか？

主な発見

• 留出法による交差検証で、未観測の親族関係についても100%の正確性を達成し、テストセットにおける完全な一般化を示した。
• 10、20、30例のテストで、正解関係を特定する平均誤差が0%に達した。これは、行列ベースの手法（0.4%、1.2%、2.0%誤差）を上回る性能を示した。
• 本フレームワークは、ヒューリスティック的近似を避け、命題論理（例：DNAプロモーター規則）および一階論理（例：家族関係）を両方とも RBMs に損失なしに符号化できた。
• Confidence Rules の使用により、エネルギー最小化による効率的推論が可能になり、神経ネットワーク内でもシンボリック推論の意味論が保持された。
• 関係特徴に対するオートエンコーダーによる再構成により、ターゲットが明示的にラベル付けされていなくても、欠落した関係を推論できるようになった。
• 本手法により、シンボリック制約を施した教師なし RBMs が、高精度で複雑な関係的推論を実行でき、一部の設定では判別的モデルを凌駕または同等の性能を示すことが実証された。