[論文レビュー] Beneficial and Harmful Explanatory Machine Learning

Lun Ai, Stephen Muggleton+3 more|arXiv (Cornell University)|Sep 9, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用数 5

ひとこと要約

本論文は、機械学習で得られた記号的理論が2人対戦ゲームにおける人間の学習に有益または有害に影響するかどうかを評価するための認知的ウィンドウフレームワークを提案する。理論の複雑さと実行スタック要件を測定することで、過度に複雑な理論は人間のパフォーマンスを低下させることを示し、良好に構造化された理論は顕著に向上させることを明らかにした。これは、超強力な機械学習における有益および有害な説明的効果を示している。

ABSTRACT

Given the recent successes of Deep Learning in AI there has been increased interest in the role and need for explanations in machine learned theories. A distinct notion in this context is that of Michie's definition of Ultra-Strong Machine Learning (USML). USML is demonstrated by a measurable increase in human performance of a task following provision to the human of a symbolic machine learned theory for task performance. A recent paper demonstrates the beneficial effect of a machine learned logic theory for a classification task, yet no existing work to our knowledge has examined the potential harmfulness of machine's involvement for human comprehension during learning. This paper investigates the explanatory effects of a machine learned theory in the context of simple two person games and proposes a framework for identifying the harmfulness of machine explanations based on the Cognitive Science literature. The approach involves a cognitive window consisting of two quantifiable bounds and it is supported by empirical evidence collected from human trials. Our quantitative and qualitative results indicate that human learning aided by a symbolic machine learned theory which satisfies a cognitive window has achieved significantly higher performance than human self learning. Results also demonstrate that human learning aided by a symbolic machine learned theory that fails to satisfy this window leads to significantly worse performance than unaided human learning.

研究の動機と目的

• 機械学習で得られた記号的理論がスキル習得過程における人間の理解に有害な影響を及えるかどうかを調査すること。
• 認知科学に基づいた認知的ウィンドウフレームワークを構築し、機械の説明が人間の理解に悪影響を及える条件を同定すること。
• 簡単な2人対戦ゲームにおいて、機械学習で得られた理論が人間のサンプル外性能に与える影響を実証的にテストすること。
• 理論の複雑さと実行スタック要件が人間の学習成果に与える影響を検討すること。
• 超強力な機械学習（USML）の概念を拡張し、有益な効果に加え、有害な説明的効果も特定すること。

提案手法

• フレームワークは、機械学習理論の記述的複雑さと知識適用に必要な実行スタックの2つの測定可能な指標によって定義される認知的ウィンドウを規定する。
• 参加者が機械学習で得られた論理プログラムから導出されたテキストおよび視覚的説明を用いて学習する、井戸割り（ナUGHTS AND CROSSES）に類似した2つの同型ゲームを用いた実証的ヒューマン・トライアルを実施した。
• 機械学習システムであるMIPlainは、トレーニングデータから一階論理規則を生成し、その後、参加者向けの自然言語および視覚的説明を生成した。
• パフォーマンスは、機械学習理論の有無にかかわらずのサンプル外分類精度を比較することで測定した。
• 参加者からの言語的反応を定性的に分析し、理解度と推論パターンを評価した。
• 認知的ウィンドウモデルは、境界を満たすか満たさない理論のパフォーマンスを比較することで検証された。

実験結果

リサーチクエスチョン

• RQ1 機械学習で得られた記号的理論が人間の学習パフォーマンスに悪影響を及える条件は何か？
• RQ2 理論の複雑さと実行スタック要件は、機械学習モデルの説明的効果にどのように影響するか？
• RQ3 認知的ウィンドウフレームワークは、機械学習理論が人間の理解に有益か有害かを予測できるか？
• RQ4 機械学習理論は、人間の自己学習に比べて、どの程度サンプル外パフォーマンスを向上させるか？
• RQ5 論理的に正しいにもかかわらず、一部の機械の説明が人間のパフォーマンスを低下させる理由は何か？

主な発見

• 認知的ウィンドウの境界を満たす機械学習理論の支援を受けることで、人間のパフォーマンスが顕著に向上した。これは有益な説明的効果を確認した。
• 認知的ウィンドウを満たさない（高すぎる複雑さや過度な実行スタック要件がある）機械学習理論では、人間のパフォーマンスが自己学習に比べて顕著に低下した。
• 本研究は、すべての記号的機械学習理論が有益であるとは限らず、一部は人間の理解に実際に有害であるという実証的証拠を提供した。
• 認知的ウィンドウフレームワークは、理論の複雑さと実行スタック制約に基づいて、機械学習理論の説明的質を的確に予測できた。
• 過度に複雑な理論からの説明を受けた参加者は混乱し、戦略がずれ込んだと報告した。これは、彼らの手の動きから学習された論理プログラムとの不一致によって示された。
• 結果として、説明の質は論理的正しさだけでなく、人間の処理能力との認知的整合性にも依存することが示された。