[论文解读] Generating User-friendly Explanations for Loan Denials using GANs

Ramya Srinivasan, Ajay Chander+1 more|arXiv (Cornell University)|Jun 24, 2019

Explainable Artificial Intelligence (XAI)参考文献 16被引用 11

一句话总结

本文提出了一种新型的条件生成对抗网络（conditional GAN），即 ARAE-GAN，利用首个面向用户、申请人友好的贷款拒批原因数据集，生成用户友好、自然语言风格的解释，以满足教育和可操作指导等不同目的。该模型在捕捉拒批的广泛和具体原因方面优于基线 GAN 模型，尤其在采用两级条件控制和分类器反馈时，显著提升了生成解释的语义准确性和风格迁移效果。

ABSTRACT

Financial decisions impact our lives, and thus everyone from the regulator to the consumer is interested in fair, sound, and explainable decisions. There is increasing competitive desire and regulatory incentive to deploy AI mindfully within financial services. An important mechanism towards that end is to explain AI decisions to various stakeholders. State-of-the-art explainable AI systems mostly serve AI engineers and offer little to no value to business decision makers, customers, and other stakeholders. Towards addressing this gap, in this work we consider the scenario of explaining loan denials. We build the first-of-its-kind dataset that is representative of loan-applicant friendly explanations. We design a novel Generative Adversarial Network (GAN) that can accommodate smaller datasets, to generate user-friendly textual explanations. We demonstrate how our system can also generate explanations serving different purposes: those that help educate the loan applicants, or help them take appropriate action towards a future approval.

研究动机与目标

• 解决可解释人工智能（XAI）系统主要服务于人工智能工程师而非终端用户（如贷款申请人）的缺口。
• 通过在 Amazon Mechanical Turk 上开展调查，收集并构建首个面向用户、申请人导向的贷款拒批解释数据集。
• 设计一种条件生成对抗网络架构，能够在有限训练数据下生成语义准确、自然语言风格的解释，以满足终端用户需求。
• 通过生成对抗网络框架中的风格迁移，实现生成解释服务于不同目的——如教育和可操作指导。
• 通过将模型输出与人类认知和社会过程对齐，弥合 XAI 研究与金融服务业实际部署之间的差距。

提出的方法

• 作者通过在 Amazon Mechanical Turk 上开展调查，收集了 1,000 份人工生成的、面向申请人的贷款拒批解释，聚焦于对非专业人士有意义且可接受的原因。
• 他们开发了一种新型的条件生成对抗网络架构 ARAE-GAN，其包含两级条件控制：广泛原因（如“信用”）和具体原因（如“信用分过低”），并引入标注者和反标注者分类器以引导生成过程。
• 该模型使用高斯混合模型（GMM）在训练过程中注入噪声，以增强生成解释的多样性与语义正确性。
• 通过在条件潜在向量和分类器反馈的基础上对目标风格（如将解释从“教育性”转换为“可操作性”或反之）进行条件控制，系统支持风格迁移。
• 训练过程涉及生成器与判别器之间的对抗学习，其中生成器在输入原因和目标风格双重条件控制下生成解释，而判别器则评估生成结果的流畅性与正确性。
• 评估包括在保留的 100 个样本测试集上使用分类器准确率指标和 BLEU 分数，并通过消融实验比较包含/不包含 GMM 噪声、单级与两级条件控制、以及有无分类器反馈的模型。

实验结果

研究问题

• RQ1 贷款申请人实际认为哪些解释是可接受且可理解的？这些解释与标准机器学习模型中使用的特征有何不同？
• RQ2 能否在小规模、用户生成的数据集上有效训练条件生成对抗网络，以生成语义准确、自然语言风格的贷款拒批解释？
• RQ3 所提出的 GAN 模型在多大程度上能够生成服务于不同目的的解释——如教育申请人或引导其未来获得批准——通过风格迁移实现？
• RQ4 与基线 GAN 模型相比，多级条件控制和分类器反馈在多大程度上提升了生成解释的真实性与正确性？
• RQ5 即使训练数据有限，该模型是否能够正确地从参考句中迁移风格和推理逻辑？

主要发现

• 采用两级条件控制和分类器反馈的 ARAE-GAN 模型在性能上表现最佳，显著优于基线模型，能够准确生成既涵盖广泛原因又涵盖具体原因的拒批解释。
• 引入高斯混合模型（GMM）用于噪声注入，提升了生成解释的语义正确性和多样性，但仅靠 GMM 无法确保原因捕捉的准确性。
• 单级条件控制在生成广泛原因（如“信用”）方面表现良好，但无法准确生成具体原因（如“信用分过低”）。
• 带有分类器反馈的对齐 ARAE-GAN 模型在风格迁移任务中成功实现了风格与正确推理的双重迁移，如表中绿色高亮的正确原因所示；而未对齐模型则未能保持正确推理。
• 该模型展示了有效的风格迁移能力：能够将解释从“教育性”风格转换为“可操作性”风格（反之亦然），同时保持事实准确性和语言流畅性，如表 3 所示。
• 基于分类器的评估与 BLEU 分数结果表明，对齐的 ARAE-GAN 模型在准确率和流畅性方面均达到最高水平，表明其在小样本数据上具有稳健性能。