[論文レビュー] Fuzzy Logic Interpretation of Artificial Neural Networks.

Fenglei Fan, Ge Wang|arXiv (Cornell University)|Jul 4, 2018

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、従来の内積を二次関数に置き換える2次ニューロンを活用することで、人工ニューラルネットワークに対するファジィ論理の解釈を提案する。この手法により、XORのようなファジィ論理演算を直接実装可能となる。主な貢献は、実装可能なファジィ演算の体系的分類と、深層二次ネットワークが深層ファジィ論理システムとして解釈可能であることを示す統計的分析であり、深層学習モデルの解釈可能性が向上する。

ABSTRACT

Over past several years, deep learning has achieved huge successes in various applications. However, such a data-driven approach is often criticized for lack of interpretability. Recently, we proposed artificial quadratic neural networks consisting of second-order neurons in potentially many layers. In each second-order neuron, a quadratic function is used in the place of the inner product in a traditional neuron, and then undergoes a nonlinear activation. With a single second-order neuron, any fuzzy logic operation, such as XOR, can be implemented. In this sense, any deep network constructed with quadratic neurons can be interpreted as a deep fuzzy logic system. Since traditional neural networks and second-order counterparts can represent each other and fuzzy logic operations are naturally implemented in second-order neural networks, it is plausible to explain how a deep neural network works with a second-order network as the system model. In this paper, we generalize and categorize fuzzy logic operations implementable with individual second-order neurons, and then perform statistical/information theoretic analyses of exemplary quadratic neural networks.

研究の動機と目的

• 深層学習モデルにおける解釈可能性の欠如を是正するため、人工ニューラルネットワークにファジィ論理に基づく解釈を提供すること。
• 2次ニューロンが、従来のニューロンでは実現できないXORなどのコアなファジィ論理演算を自然に実装できることを示すこと。
• 個々の2次ニューロンを用いて実現可能なファジィ論理演算の集合を一般化し、体系的に分類すること。
• 代表的な二次ニューラルネットワークに対して統計的および情報理論的分析を実施し、その解釈可能性とファジィ論理システムとの機能的同等性を検証すること。

提案手法

• 従来のニューロンにおける線形内積を二次関数に置き換えることで2次ニューロンを構築し、非線形の決定境界を可能にする。
• 二次計算の後に非線形活性化関数を適用することで、完全に微分可能な2次ニューロンユニットを形成する。
• 二次係数を調整することで、XORなどの基本的なファジィ論理演算を1つの2次ニューロンで実装する。
• これらの2次ニューロンを組み合わせて深層ネットワークを構築し、複雑なファジィ論理システムをモデル化する。
• 訓練済みの二次ネットワークに対して統計的および情報理論的分析を実施し、その挙動と解釈可能性を評価する。
• 数学的および実証的妥当性を通じて、深層二次ネットワークと深層ファジィ論理システムとの間の正式な対応関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 1つの2次ニューロンを用いて実装可能なファジィ論理演算は何か。また、それらはどのように体系的に分類可能か。
• RQ2 2次ニューロンは、標準的な線形ニューロンでは表現できない非線形的かつ非単調的な論理的演算（例：XOR）をどのように表現可能にするか。
• RQ3 2次ニューロンから構成される深層ニューラルネットワークは、どの程度深層ファジィ論理システムとして解釈可能か。
• RQ4 二次ニューラルネットワークに現れる統計的および情報理論的特性は、それらがファジィ論理システムとして解釈可能であることを支持するか。
• RQ5 ファジィ論理に基づく2次ニューロンフレームワークを用いることで、深層学習モデルの解釈可能性を向上させることは可能か。

主な発見

• 適切に設定された二次関数を用いることで、1つの2次ニューロンはXORのような非線形的かつ非単調的なファジィ論理演算を含め、任意のファジィ論理演算を実装可能である。
• 2次ニューロンは、人工ニューラルネットワークとファジィ論理システムの間の自然なブリッジを提供し、深層ネットワークをファジィ論理システムとして形式的に解釈可能にする。
• 提案された二次ネットワークアーキテクチャにより、従来の深層ニューラルネットワークと2次ネットワークとの間で相互に表現可能となり、機能的同等性が保持される。
• 代表的な二次ネットワークに対する統計的および情報理論的分析から、ファジィ論理の原則に整合する複雑な論理的関係をモデル化できる能力が確認された。
• 本フレームワークは、表現力に compromise を行わずに、ファジィ論理に基づく深層学習モデルの解釈を体系的に行うための原理的手段を提供する。