[論文レビュー] Going Beyond XAI: A Systematic Survey for Explanation-Guided Learning

Yuyang Gao, Siyi Gu+4 more|arXiv (Cornell University)|Dec 7, 2022

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

本論文は、説明可能AI（XAI）の知見を活用して、深層ニューラルネットワーク（DNN）の忠実性、公平性、一般化性能を向上させるためのフレームワークである説明誘導学習（EGL）を導入する。説明に対する正則化、監督、または干渉を適用することにより、EGLはコンピュータビジョン（CV）および自然言語処理（NLP）のタスクにおいて、モデル性能と解釈可能性の両方を向上させる。実験結果では、最先端モデルにおいて説明F1が最大471.0%向上し、IoUが1863.9%向上した。

ABSTRACT

As the societal impact of Deep Neural Networks (DNNs) grows, the goals for advancing DNNs become more complex and diverse, ranging from improving a conventional model accuracy metric to infusing advanced human virtues such as fairness, accountability, transparency (FaccT), and unbiasedness. Recently, techniques in Explainable Artificial Intelligence (XAI) are attracting considerable attention, and have tremendously helped Machine Learning (ML) engineers in understanding AI models. However, at the same time, we started to witness the emerging need beyond XAI among AI communities; based on the insights learned from XAI, how can we better empower ML engineers in steering their DNNs so that the model's reasonableness and performance can be improved as intended? This article provides a timely and extensive literature overview of the field Explanation-Guided Learning (EGL), a domain of techniques that steer the DNNs' reasoning process by adding regularization, supervision, or intervention on model explanations. In doing so, we first provide a formal definition of EGL and its general learning paradigm. Secondly, an overview of the key factors for EGL evaluation, as well as summarization and categorization of existing evaluation procedures and metrics for EGL are provided. Finally, the current and potential future application areas and directions of EGL are discussed, and an extensive experimental study is presented aiming at providing comprehensive comparative studies among existing EGL models in various popular application domains, such as Computer Vision (CV) and Natural Language Processing (NLP) domains.

研究の動機と目的

• XAIの枠を超えて、説明の知見を活用してDNNの挙動を能動的に制御し、性能と信頼性を向上させる急増するニーズに対応すること。
• 説明誘導学習（EGL）の定義と一般的な学習パラダイムを形式化し、AIの解釈可能性分野における新たな方向性を提示すること。
• 説明の忠実性や正しさを定量的に評価するための包括的な評価フレームワーク（Sufficiency、Comprehensiveness、Faithfulnessなどの指標を含む）を提供すること。
• CVおよびNLP分野におけるEGLモデルの最初の大規模な比較研究を実施し、性能のトレンドとトレードオフを同定すること。
• EGLがDNNにおける公平性、説明責任、透明性、バイアス低減を進めるために、今後の応用分野と研究方向性を探索すること。

提案手法

• XAIによる説明を監督信号として統合することで、DNNの学習を正則化または誘導する学習パラダイムとしてEGLを形式化すること。
• 説明監督、アテンション監督、説明整合性技術を適用し、モデルの推論を人間が解釈可能な説明と一致させる。
• Sufficiency、Comprehensiveness、IoU、Explanatory F1などの指標を用いて、説明の忠実性と正しさを定量的に評価する。
• FEVER、MultiRC、Movie Reviewなどのベンチマークデータセットを用いた広範なアブレーションおよび比較実験を実施し、モデル性能を評価する。
• 注目マップと正解説明を可視化し、精度と説明品質の間の整合性とトレードオフを分析する。
• 説明監督、アテンション監督、説明整合性といった統一された用語で、既存のEGL手法を分類することで、分野の統一を図る。

実験結果

リサーチクエスチョン

• RQ1 XAIの知見を、単なる説明生成を越えて、DNNの学習を体系的に誘導する方法は何か？
• RQ2 効果的な説明誘導学習（EGL）フレームワークの主な構成要素と評価基準は何か？
• RQ3 CVおよびNLPタスクにおいて、異なるEGL技術は忠実性、精度、一般化性能の観点でどのように比較されるか？
• RQ4 EGLにおいて、モデルの精度と説明品質の間にはどのようなトレードオフがあり、それらはどのように緩和できるか？
• RQ5 EGLが実世界のAIシステムにおいて、今後の有望な応用分野と研究方向性は何か？

主な発見

• FEVERデータセットにおいて、Expredは、ベースラインモデルと比較して、comprehensivenessが394.1%向上し、sufficiencyが59.0%低下した。
• FRESHは最高の精度（0.903）とAUCを示したが、comprehensivenessはベースラインより悪く、説明品質におけるトレードオフを示した。
• Expredは、ベースラインと比較して、IoUが1863.9%向上し、Explanatory F1が471.0%向上した。これにより、説明の忠実性が顕著に向上したことが示された。
• Cartonらは、最高の精度（0.903）を達成したが、comprehensivenessは最低であり、正しさと説明カバレッジの間のトレードオフを強調した。
• ERASERおよびGlocknerらの手法は、正解と高い一致を示し、高いIoUスコアと相関していた。これは、説明の局所化における空間的整合性が優れていることを示している。
• 本研究では、高い注目カバレッジがsufficiencyを低下させる傾向があることが明らかになった。これは、評価において忠実性と正しさの両方をバランスさせる必要があることを強調している。