[論文レビュー] Learning and T-Norms Theory

Francesco Giannini, Giuseppe Marra+3 more|arXiv (Cornell University)|Jul 26, 2019

Neural Networks and Applications参考文献 27被引用数 4

ひとこと要約

本論文は、t-ノルム生成子を用いて神経記号的損失関数を明確に導出する理論的枠組みを提案し、教師あり学習における交差エントロピー損失の原則的根拠を提示するとともに、深層学習モデルの収束を加速させ、データ依存性を低減する、新たな種類の微分可能な損失関数を可能にする。

ABSTRACT

Deep learning has been shown to achieve impressive results in several domains like computer vision and natural language processing. Deep architectures are typically trained following a supervised scheme and, therefore, they rely on the availability of a large amount of labeled training data to effectively learn their parameters. Neuro-symbolic approaches have recently gained popularity to inject prior knowledge into a deep learner without requiring it to induce this knowledge from data. These approaches can potentially learn competitive solutions with a significant reduction of the amount of supervised data. A large class of neuro-symbolic approaches is based on First-Order Logic to represent prior knowledge, that is relaxed to a differentiable form using fuzzy logic. This paper shows that the loss function expressing these neuro-symbolic learning tasks can be unambiguously determined given the selection of a t-norm generator. When restricted to simple supervised learning, the presented theoretical apparatus provides a clean justification to the popular cross-entropy loss, that has been shown to provide faster convergence and to reduce the vanishing gradient problem in very deep structures. One advantage of the proposed learning formulation is that it can be extended to all the knowledge that can be represented by a neuro-symbolic method, and it allows the development of a novel class of loss functions, that the experimental results show to lead to faster convergence rates than other approaches previously proposed in the literature.

研究の動機と目的

• 神経記号的深層学習における損失関数を、t-ノルム生成子に根拠を置く明確で曖昧さのない方法で導出すること。
• 曖昧論理の緩和を用いた記号的知識の統合により、深層学習におけるデータ効率性の課題に取り組むこと。
• 教師あり学習における交差エントロピー損失の広範な使用を理論的に正当化する基盤を提供すること。
• 一次論理で表現可能な多様な事前知識を組み込むことにより、標準的監督学習を超えた損失関数の定式化を拡張すること。

提案手法

• 本論文は、特にt-ノルム生成子を用いて、一次論理の知識を微分可能な形にマッピングする形式的な枠組みを導入する。
• 神経記号的学習タスクの損失関数は、選択されたt-ノルム生成子の直接的結果として導出され、一貫性と曖昧さのなさが保証される。
• この枠組みは、神経記号的手法で表現可能なすべての知識に一般化可能であり、多様な知識タイプにわたる統一された損失関数の定式化を可能にする。
• 標準的監督学習に制限した場合、特定のt-ノルム選択のもとで導出された損失関数は交差エントロピー損失に簡略化される。
• 異なるt-ノルム生成子の選択により、収束を速める最適化を可能にする、新しい損失関数の体系的設計が可能である。
• データ駆動の帰納を必要とせず、記号的知識を深層学習に統合することで、解釈可能性を保持するとともに、データ要件を低減する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、曖昧論理とt-ノルムを用いて、記号的知識から神経記号的学習の損失関数を体系的に導出できるか？
• RQ2 交差エントロピー損失の深層学習における有効性の理論的根拠は何か？また、t-ノルム枠組みからどのようにしてそれが導かれるか？
• RQ3 監視付き学習と記号的事前知識を組み合わせた学習に適用可能な統一された損失関数の定式化は可能か？
• RQ4 異なるt-ノルム生成子から導出された損失関数は、収束速度とモデル性能の観点でどのように比較されるか？
• RQ5 この枠組みは、深層学習における大規模なラベル付きデータセットへの依存度をどの程度低減できるか？

主な発見

• 神経記号的学習タスクの損失関数は、t-ノルム生成子の選択によって一意に決定され、理論的整合性と曖昧さのなさが保証される。
• この枠組みは、積t-ノルムを用いた場合、交差エントロピー損失が特殊ケースとして導出されることを原則的根拠づけ、深層学習におけるその実用的成功を説明する。
• 実験結果により、本手法で導出された損失関数は、既存の手法と比較して収束速度が速いことが示された。
• 本手法により、記号的知識を深層学習モデルに効果的に統合でき、大規模なラベル付きデータへの依存が軽減される。
• 理論的枠組みは、神経記号的手法で表現可能なすべての知識に拡張可能であり、統一された最適化フレームワークの構築を可能にする。
• 微分可能な曖昧論理の使用により、論理的制約と事前知識を保持したまま、深層ネットワークのエンドツーエンド学習が可能になる。