[논문 리뷰] Generating Plausible Counterfactual Explanations for Deep Transformers in Financial Text Classification

Linyi Yang, Eoin M. Kenny외 4명|arXiv (Cornell University)|2020. 10. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 36인용 수 8

한 줄 요약

이 논문은 적대적 훈련된 트랜스포머를 사용하여 금융 텍스트 분류에서 신뢰할 수 있는 역설적 설명을 생성하는 새로운 방법을 제안한다. 마스킹된 언어 모델링과 세 가지 별도의 편집 전략(치환, 삽입, 제거)을 활용함으로써, HotFlip과 같은 최신 기법들보다 설명의 타당성과 타당성을 크게 향상시켰으며, 인간 평가에서 p < 0.001 및 p < 0.05의 유의미한 결과를 얻었다.

ABSTRACT

Corporate mergers and acquisitions (M&amp;A) account for billions of dollars of investment globally every year, and offer an interesting and challenging domain for artificial intelligence. However, in these highly sensitive domains, it is crucial to not only have a highly robust and accurate model, but be able to generate useful explanations to garner a user's trust in the automated system. Regrettably, the recent research regarding eXplainable AI (XAI) in financial text classification has received little to no attention, and many current methods for generating textual-based explanations result in highly implausible explanations, which damage a user's trust in the system. To address these issues, this paper proposes a novel methodology for producing plausible counterfactual explanations, whilst exploring the regularization benefits of adversarial training on language models in the domain of FinTech. Exhaustive quantitative experiments demonstrate that not only does this approach improve the model accuracy when compared to the current state-of-the-art and human performance, but it also generates counterfactual explanations which are significantly more plausible based on human trials.

연구 동기 및 목표

• 금융 텍스트 분류 분야에서 설명 가능 AI의 부족을 해결하고, 특히 고위험도의 M&A 예측 분야에 초점을 맞춘다.
• 사용자가 모델 예측에 신뢰를 가질 수 있도록 타당성과 타당성이 높은 역설적 설명을 생성한다.
• 실제 금융 M&A 데이터에서 높은 정확도를 유지하면서도 적대적 훈련을 통해 모델의 강건성을 향상시킨다.
• 기존의 사후 설명 기법들이 타당하지 않거나 해석하기 어려운 설명을 생성하는 한계를 극복한다.
• FinTech 애플리케이션에서 인간과 유사한 역설적 설명을 자동으로 생성할 수 있는 확장 가능한 프레임워크를 구축한다.

제안 방법

• 적대적 정규화를 통해 훈련된 미세조정된 트랜스포머 모델을 사용하여 금융 텍스트에서 강건성과 일반화 능력을 향상시킨다.
• 원본 M&A 텍스트에서 역설적 인스턴스를 생성하기 위해 세 가지 편집 기반 전략인 REP-SCD(치환), INS-SCD(삽입), RM-SCD(제거)를 도입한다.
• 각 역설적 설명은 문법적 정확성과 의미적 일관성을 확보하기 위해 마스킹된 언어 모델을 사용하여 생성된다.
• 예측 변화를 유도하는 关건 단어나 어구를 식별하는 사후 설명 프레임워크를 활용한다.
• 도메인 전문가들이 1~5점 척도로 타당성과 타당성을 평가하여 HotFlip과 비교 분석을 수행한다.
• 실제 세계의 자가 수집된 M&A 데이터셋을 사용하여 평가함으로써 관련성과 실용성을 확보한다.

실험 결과

연구 질문

• RQ1 적대적으로 훈련된 트랜스포머는 금융 텍스트 분류에서 M&A 예측의 강건성과 정확도를 더 높일 수 있는가?
• RQ2 통제된 텍스트 편집을 통해 생성된 역설적 설명은 도메인 전문가들에 의해 더 타당하고 타당하게 인식되는가?
• RQ3 치환, 삽입, 제거 전략이 의미 있고 언어적으로 타당한 역설적 설명을 생성하는 데 얼마나 효과적인가?
• RQ4 제안된 방법은 HotFlip과 같은 최신 기준 기법보다 얼마나 뛰어난 유용한 역설적 설명을 생성하는가?
• RQ5 적대적 훈련의 통합이 모델 정확도와 생성된 설명의 품질을 모두 향상시키는가?

주요 결과

• 인간 평가에서 제안된 방법은 HotFlip 대비 타당성에서 2.35점 향상(4.35 대 2.00)을 기록했으며, p-value < 0.001이었다.
• HotFlip 대비 타당성에서 0.85점 향상(4.00 대 3.15)을 기록했으며, p-value < 0.05로 통계적으로 유의미했다.
• M&A 데이터셋에서 분류 정확도 측면에서 제안된 방법은 최신 기준 기법과 인간 성능을 모두 초월했다.
• 적대적 훈련의 활용은 모델의 강건성을 향상시켜 더 신뢰할 수 있고 일반화 능력이 뛰어난 예측을 가능하게 했다.
• 생성된 역설적 설명은 기울기 기반 기준 기법보다 더 자연스럽고 언어적으로 일관성이 있었다.
• REP-SCD, INS-SCD, RM-SCD 전략의 조합은 가장 효과적이고 다양한 역설적 인스턴스 세트를 생성했다.