[論文レビュー] Human-centric Transfer Learning Explanation via Knowledge Graph [Extended Abstract]

Yuxia Geng, Jiaoyan Chen+2 more|arXiv (Cornell University)|Jan 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 4

ひとこと要約

本稿では、人間が理解できる言語で転移学習を説明する2つの知識グラフ（KG）ベースのフレームワークを提案する。1つは事前学習と微調整を介したドメイン間でのCNN特徴の転送を、もう1つは複数のソースドメインを用いたゼロショット学習モデルの正当化を対象としている。KG推論を活用することで、解釈可能で意味的に豊かな説明を提供し、非専門家ユーザーのための透明性を向上させる。

ABSTRACT

Transfer learning which aims at utilizing knowledge learned from one problem (source domain) to solve another different but related problem (target domain) has attracted wide research attentions. However, the current transfer learning methods are mostly uninterpretable, especially to people without ML expertise. In this extended abstract, we brief introduce two knowledge graph (KG) based frameworks towards human understandable transfer learning explanation. The first one explains the transferability of features learned by Convolutional Neural Network (CNN) from one domain to another through pre-training and fine-tuning, while the second justifies the model of a target domain predicted by models from multiple source domains in zero-shot learning (ZSL). Both methods utilize KG and its reasoning capability to provide rich and human understandable explanations to the transfer procedure.

研究の動機と目的

• 機械学習の専門家でないユーザーに対する転移学習手法の解釈可能性の欠如に対処すること。
• 知識グラフを用いて、CNNにおける特徴転送のための人間中心の説明を開発すること。
• 複数のソースドメインからの知識統合を通じて、ゼロショット学習におけるモデル予測を正当化すること。
• 知識グラフ推論を活用し、意味的に意味のある自然言語による転移学習プロセスの説明を生成すること。

提案手法

• ソースドメインとターゲットドメインの概念、および学習された特徴間の意味的関係をモデル化する知識グラフを構築する。
• 事前学習済みのCNNを用いてソースドメインからの特徴を抽出し、それらをKG埋め込み概念にマッピングすることで解釈可能性を向上させる。
• KG推論（例：パスベース推論）を適用し、特定の特徴がなぜ異なるドメイン間でうまく転送されるかを説明する。
• ゼロショット学習においては、複数のソースドメインモデルの予測を集約し、KGを用いてターゲットドメインの予測を意味的整合性に基づいて正当化する。
• 転送可能性をKG内の論理的パスとして表現し、自然言語による説明生成を可能にする。
• KG推論をディープラーニングパイプラインと統合することで、説明が意味的知識に基づいていることを保証する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフは、異なるドメイン間でのCNNが学習した特徴の転送可能性をどのように説明できるか？
• RQ2 KG推論は、転移学習のための人間が理解できる説明を生成する際に果たす役割は何か？
• RQ3 共有された知識グラフを用いて、複数のソースドメインモデルをどのように統合し、正当化できるか？
• RQ4 KGベースの説明は、ユーザーの信頼および転移学習意思決定の理解をどの程度向上させられるか？
• RQ5 KG推論は、成功した特徴転送の背後にある意味的関係を効果的にモデル化できるか？

主な発見

• 提案されたKGベースのフレームワークは、意味的に豊かで自然言語による説明を生成し、非専門家ユーザーにとって解釈可能である。
• 知識グラフ推論により、論理的パスを介して転送可能な特徴を特定でき、CNN特徴転送の透明性が向上する。
• ゼロショット学習において、本手法はターゲット概念をKG内での意味的に関連するソース概念と一致させることで予測を正当化する。
• KG推論をディープラーニングモデルと統合することで、性能に影響を与えずにモデルの解釈可能性が向上する。
• 本アプローチは、複雑な転移学習手順に対する人間中心の説明を生成する可能性を示している。