[論文レビュー] Incorporating Domain Knowledge into Deep Neural Networks

Tirtharaj Dash, Sharad Chitlangia+2 more|arXiv (Cornell University)|Feb 27, 2021

Explainable Artificial Intelligence (XAI)参考文献 42被引用数 8

ひとこと要約

この論文は、論理的および数値的制約を通じてドメイン知識を深層ニューラルネットワーク（DNN）に統合する手法を調査し、モデルの性能、解釈可能性、公平性を向上させることを示している。70のデータセットにわたるグラフニューラルネットワークにおける実験を通じて、論理的ルールや損失関数における正則化を用いたドメイン知識の統合が、予測精度を顕著に向上させることを実証している。

ABSTRACT

We present a survey of ways in which domain-knowledge has been included when constructing models with neural networks. The inclusion of domain-knowledge is of special interest not just to constructing scientific assistants, but also, many other areas that involve understanding data using human-machine collaboration. In many such instances, machine-based model construction may benefit significantly from being provided with human-knowledge of the domain encoded in a sufficiently precise form. This paper examines two broad approaches to encode such knowledge--as logical and numerical constraints--and describes techniques and results obtained in several sub-categories under each of these approaches.

研究の動機と目的

• ドメイン知識を正確で実行可能な形で体系的に統合することで、深層ニューラルネットワークの性能を向上させるという課題に対処すること。
• モデル構築段階で論理的および数値的制約をどのように符号化し統合できるかを調査すること。
• 人間が関与するAIシステムにおけるモデルの解釈可能性、公平性、信頼性の向上にドメイン知識が果たす役割を検討すること。
• 記号的ドメイン知識を微分可能で学習可能なニューラルネットワーク部品に変換する際の理論的・実務的課題を同定すること。
• ドメイン知識統合を、説明可能性やバイアス低減を含む責任あるAIの主要な促進要因として位置づけること。

提案手法

• 命題論理および述語論理の制約としてドメイン知識を表現し、標準正規形やn項関係を含む。
• 微分可能リラクゼーション技術やニューラル記号的統合を用いて論理的制約を符号化し、勾配ベースの学習を可能にする。
• 損失関数の修正を通じてドメイン知識を数値的制約として定式化し、正則化項や重み事前分布を含む。
• 事前分布やトランスファー学習を用いてネットワーク重みに制約を適用し、ドメイン固有のインダクティブバイアスを埋め込む。
• 論理的ルールから導出されたドメイン固有の特徴を統合した頂点拡張技術をグラフニューラルネットワークに適用する。
• 特にGNNにおいて、アブレーションスタディおよびベンチマークデータセット上の性能比較を通じて制約統合の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 微分可能を損なわずに、論理的ルールとしてのドメイン知識を深層ニューラルネットワークに効果的に符号化・統合する方法は何か？
• RQ2 正則化や重み事前分布などの数値的制約を、DNN学習プロセス内で最も効果的に表現・実装する方法は何か？
• RQ3 現実の科学的・工学的応用において、ドメイン知識を統合することで予測性能がどの程度向上するか？
• RQ4 ドメイン知識は、人間が関与するシステムにおける深層ニューラルネットワークの解釈可能性と信頼性をどのように向上させるか？
• RQ5 記号的ドメイン知識を学習可能なニューラルネットワーク部品に変換する際の主な技術的・実務的課題は何か？

主な発見

• グラフニューラルネットワークにおける頂点拡張を用いたドメイン知識統合により、70の多様なデータセットで測定可能な予測精度の向上が得られた。
• 適切に符号化された論理的制約は、データ内の誤った相関に依存するのを減らし、モデルの一般化性能を向上させることができる。
• 正則化項や重み事前分布などの数値的制約は、データが少ない状況下でもモデルのロバストネスと収束性を顕著に向上させる。
• ドメイン知識の統合により、内部表現がドメイン固有の概念と整合するようになり、モデルの解釈可能性が向上する。
• 進展は見られても、論理的制約の区別と勾配ベースの学習におけるエンドツーエンドの微分可能性を保証する課題は依然として残っている。
• ドメイン知識統合は、責任あるAIの実現に不可欠な要因であり、公平性、因果関係、倫理的整合性の実現を支援する。