[論文レビュー] Neural Logic Machines
Neural Logic Machinesはニューラルネットワークとシンボリックロジックを組み合わせて、リフトされたルールを学習し、より大きなインスタンスへ一般化する。関係推論、意思決定、および計画タスクで強い一般化を達成する。
We propose the Neural Logic Machine (NLM), a neural-symbolic architecture for both inductive learning and logic reasoning. NLMs exploit the power of both neural networks---as function approximators, and logic programming---as a symbolic processor for objects with properties, relations, logic connectives, and quantifiers. After being trained on small-scale tasks (such as sorting short arrays), NLMs can recover lifted rules, and generalize to large-scale tasks (such as sorting longer arrays). In our experiments, NLMs achieve perfect generalization in a number of tasks, from relational reasoning tasks on the family tree and general graphs, to decision making tasks including sorting arrays, finding shortest paths, and playing the blocks world. Most of these tasks are hard to accomplish for neural networks or inductive logic programming alone.
研究の動機と目的
- リフトされた一階述語論理ルールを学習できるニューラル・シンボリック系システムを動機づける。
- 標準的なグラフネットワークを超える高次の関係データと量化子に対処する。
- 手作業で作成されたテンプレートを使わずに、スケーラブルな規則誘導を達成する。
- 小規模な訓練インスタンスから大規模なテストインスタンスへの一般化をデモンストレーションする。
提案手法
- 固定されたオブジェクト集合に基づく確率テンソルとして論理述語を表現する。
- リフトされたブール論理と量化を実行するニューラル演算子として論理規則を実装する。
- Horn節に似た推論を実現するため、層間および層内計算を含む多層・多グループアーキテクチャを用いる。
- 全称量化と存在量化を実装するために展開・縮約のメタルールを用いる。
- 複雑さを管理するため、深さD、広さB、および各層あたりの出力述語の少数によってモデル容量を制御する。
- タスクに応じて、教師付き学習または強化学習として訓練を提供する。
実験結果
リサーチクエスチョン
- RQ1NLMは訓練中に見られたより大きなオブジェクト集合へ一般化するリフト済みルールを誘導できるか？
- RQ2ニューラルフレームワーク内で高次の関係と量化子をNLMはどう扱えるか？
- RQ3規則の複雑さと階数に関してNLMのスケーラビリティはどの程度か？
- RQ4純粋なニューラル基準や純粋なシンボリック基準よりも、Relational推論、グラフタスク、計画問題をより効果的に解決できるか？
主な発見
- NLMは関係推論と意思決定において、小規模な訓練から大規模タスクへ一般化する。
- ブロックワールド、ソーティング、最短経路タスクで高い性能を達成し、しばしばベースラインを上回る。
- NLMはリフトされた規則を回復し、Horn句の部分集合に対して前向き連鎖を実行できる。
- このアーキテクチャは多元述語と量化子をサポートし、高次の関係データに対する推論を可能にする。
- 実験はファミリーツリー、一般的なグラフ、アルゴリズム的タスク全般で堅実な一般化を示す。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。