[논문 리뷰] Thermodynamics-inspired Explanations of Artificial Intelligence

Mehdi Shams, Pratyush Tiwary|arXiv (Cornell University)|2022. 06. 27.

Machine Learning in Materials Science인용 수 8

한 줄 요약

이 논문은 블랙박스 AI 모델의 사후 해석 가능성에 대해 열역학적 영감을 받은 TERP 프레임워크를 소개한다. 모델의 단순성과 부정확성 사이의 상충 관계를 열역학적 자유에너지와 유사한 '해석 자유에너지' ζ로 모델링함으로써, TERP는 전방 특성 선택을 통해 국소적 대체 모델을 최적화하여 다양한 AI 모델(예: CNN, RNN, 오토인코더)에 대해 안정적인 해석 가능성을 입증한다. 이는 분자의, 이미지의, 텍스트의 도메인에서 적용된다.

ABSTRACT

In recent years, predictive machine learning methods have gained prominence in various scientific domains. However, due to their black-box nature, it is essential to establish trust in these models before accepting them as accurate. One promising strategy for assigning trust involves employing explanation techniques that elucidate the rationale behind a black-box model's predictions in a manner that humans can understand. However, assessing the degree of human interpretability of the rationale generated by such methods is a nontrivial challenge. In this work, we introduce interpretation entropy as a universal solution for assessing the degree of human interpretability associated with any linear model. Using this concept and drawing inspiration from classical thermodynamics, we present Thermodynamics-inspired Explainable Representations of AI and other black-box Paradigms (TERP), a method for generating accurate, and human-interpretable explanations for black-box predictions in a model-agnostic manner. To demonstrate the wide-ranging applicability of TERP, we successfully employ it to explain various black-box model architectures, including deep learning Autoencoders, Recurrent Neural Networks, and Convolutional Neural Networks, across diverse domains such as molecular simulations, text, and image classification.

연구 동기 및 목표

• 신뢰 부족 문제를 해결하기 위해 엄밀하고 해석 가능한 사후 설명 프레임워크를 개발한다.
• 모델의 해석 가능성에 대해 열역학적 자유에너지 최소화와 유사한 물리적 유사성을 수식화한다.
• 모델에 종속되지 않는, 국소적으로 유효한 복잡한 AI 모델(예: 딥 네트워크 및 오토인코더)의 해석을 가능하게 한다.
• 단순성과 예측 충실도 사이의 균형을 이루는 최적의 대체 모델을 선택하기 위한 안정적이고 수학적으로 탄탄한 방법을 제공한다.
• 분자의 시뮬레이션, 이미지 분류, 텍스트 처리를 포함한 다양한 도메인에서 프레임워크를 검증한다.

제안 방법

• 해석 가능성은 '해석 자유에너지' ζ = U − θS 최소화로 수식화되며, 여기서 U는 부정확성, S는 단순성, θ는 조정 가능한 온도 유사 매개변수이다.
• 단순성 S를 로그 스케일로 정의하여 부정확성 감소와의 균형을 유지함으로써 모델 선택 과정에서 안정적인 상충 관계를 확보한다.
• 개별 예측 주변의 국소 선형 대체 모델을 반복적으로 구축하기 위해 전방 특성 선택 알고리즘을 사용한다.
• ζ의 최소화를 통해 최적의 대체 모델을 선택하며, 볼록성 및 단조성 성질 덕분에 유일한 전역 최솟값을 보장한다.
• 최종 대체 모델의 비영인 가중치를 사용해 특성 중요도를 할당함으로써 국소적이고 인스턴스별 설명을 제공한다.
• θ를 조정하여 안정적인 해석의 범위를 탐색하며, 열역학적 상과 유사하게 다수의 타당한 설명 가족을 식별한다.

실험 결과

연구 질문

• RQ1 단순성과 블랙박스 모델에 대한 충실도 사이의 상충 관계를 효과적으로 열역학적 유사성으로 수식화할 수 있는가?
• RQ2 이 열역학적 프레임워크 하에서 전역적으로 최적의 국소 대체 모델을 선택할 수 있는가? 이는 충실도와 단순성의 양면을 모두 확보한다.
• RQ3 이 프레임워크는 CNN, RNN, 오토인코더와 같은 다양한 블랙박스 모델 아키텍처에 일반적으로 적용될 수 있는가?
• RQ4 이 방법은 이미지, 텍스트, 표준형 데이터와 같은 다양한 데이터 모odalities에서 안정적이고 신뢰할 수 있는 특성 할당을 생성하는가?
• RQ5 모델이 복잡하거나 특정 입력에서 실패하더라도, 이 프레임워크는 AI 예측의 정확한 추론을 탐지하고 설명할 수 있는가?

주요 결과

• TERP는 각 예측에 대해 해석 자유에너지 ζ의 최소화를 통해 유일한 최적의 대체 모델을 성공적으로 식별함으로써 수학적 강건성을 확보한다.
• θ = 20일 때, TERP는 뉴스 기사 'AI 예측 단백질 구조'에 대해 k_c = 16개의 가장 영향력 있는 특성을 식별하였으며, 'Science'가 가장 높은 할당 가중치를 가졌다.
• 이 방법은 AttBLSTM 모델이 정확한 예측을 의미 있는 키워드에 기반해 내렸음을 확인하여 모델 신뢰도를 향상시켰다.
• TERP는 이미지 분류를 위한 CNN, 텍스트를 위한 RNN, 분자의 시뮬레이션을 위한 오토인코더를 포함한 다양한 모델 유형에서 신뢰할 수 있는 해석 가능성을 입증했다.
• 프레임워크는 모델의 성공이 고립된 단어에 의존하는 것이 아니라, 다수의 키워드가 공동으로 영향을 미치기 때문임을 드러냈다.
• 블랙박스 모델이 실패한 경우에도 TERP는 여전히 의미 있는 해석을 제공하였으며, 모델의 추론 결함을 드러내고 진단 분석을 지원하였다.