[論文レビュー] An explanation method for Siamese neural networks

Lev V. Utkin, Maxim S. Kovalev+1 more|arXiv (Cornell University)|Nov 18, 2019

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、シアンプルス型ニューラルネットワークの解釈可能性を向上させるために、プロトタイプベースの特徴重要度と、シアンプルスネットワークの埋め込み空間に特化して訓練されたオートエンコーダーを活用する、新しい説明手法を提案する。本手法は、入力ベクトルをクラスプロトタイプと比較することで、重要な特徴を同定し、変更を加えたオートエンコーダーを用いて入力を再構築する。MNIST上で解釈可能なセラニティマップを提示し、有効性を示している。

ABSTRACT

A new method for explaining the Siamese neural network is proposed. It uses the following main ideas. First, the explained feature vector is compared with the prototype of the corresponding class computed at the embedding level (the Siamese neural network output). The important features at this level are determined as features which are close to the same features of the prototype. Second, an autoencoder is trained in a special way in order to take into account the embedding level of the Si-amese network, and its decoder part is used for reconstructing input data with the corresponding changes. Numerical experiments with the well-known dataset MNIST illustrate the propose method.

研究の動機と目的

• 類似度学習に広く用いられるが、説明手法に欠けるシアンプルスニューラルネットワークにおける解釈可能性の欠如を是正すること。
• シアンプルスネットワークの意思決定プロセスに最も寄与する入力データの顕著な特徴を同定すること。
• シアンプルスネットワークの埋め込み空間と、再構築に基づく説明フレームワークを統合する手法を開発すること。
• 埋め込みレベルで訓練された変更を加えたオートエンコーダーを用いて、重要な特徴の可視化を可能にすること。
• 標準ベンチマークデータセット（MNIST）上で本手法を検証し、シアンプルスネットワークの挙動を信頼性高く解釈できることを確認すること。

提案手法

• シアンプルスネットワークの埋め込み出力層において、各クラスに対してプロトタイプベクトルを計算し、そのクラスに属するすべての埋め込みの重心を表す。
• 入力内の特徴が、埋め込み空間におけるプロトタイプベクトルの特徴と高い相関関係にある場合、その特徴は重要であるとみなす。
• 入力データを再構築することを目的とした、特別に設計されたオートエンコーダーを訓練する。その潜在表現は、シアンプルスネットワークの埋め込み空間に制約される。
• オートエンコーダーのデコーダーを用いて入力を再構築し、類似度意思決定に最も寄与する特徴を強調するように変更を加える。
• 再構築誤差と特徴レベルの寄与度を分析することで説明を生成し、プロトタイプからの逸脱に注目する。
• プロトタイプベースのセラニティと再構築ベースの特徴帰属を統合し、解釈可能な説明を生成する。

実験結果

リサーチクエスチョン

• RQ1 シアンプルスニューラルネットワークの類似度意思決定において、入力サンプルの最も影響力のある特徴をどのように同定できるか？
• RQ2 埋め込み空間におけるクラスプロトタイプを用いて、シアンプルスネットワークにおける特徴重要度の帰属をガイドできるか？
• RQ3 シアンプルス埋め込み空間に特化して訓練された再構築ベースのオートエンコーダーは、どの程度説明の正確性を向上させられるか？
• RQ4 MNISTにおける解釈性と正しさの観点から、本手法の説明マップは、ベースライン手法と比べてどのように差がつくか？
• RQ5 本手法は、画像ペアにおいて関連する特徴を信頼性高く強調し、ノイズや関係のないピxlsを抑制できるか？

主な発見

• 提案手法は、MNIST画像における類似度意思決定に寄与する意味的に関連する特徴（例：数字の筆圧）を効果的に同定できた。
• プロトタイプベースの手法で生成された特徴重要度マップは、人間の直感とネットワーク挙動の両方と強く整合していた。
• 再構築ベースのコンponentは、クラスプロトタイプから逸脱する入力領域を効果的に強調し、その意思決定への影響を示した。
• MNISTにおける数値実験から、本手法は複数のテストサンプルにわたり一貫性があり、解釈可能なセラニティマップを生成することが確認された。
• プロトタイプ比較とオートエンコーダー再構築の統合により、ベースライン手法よりもより強固で局所化された説明が得られた。
• 埋め込みレベルの分析と入力レベルの再構築を統合することで、シアンプルスネットワークを統合的に解釈するフレームワークを提供した。