[논문 리뷰] Learning to Scaffold: Optimizing Model Explanations for Teaching

Patrick Fernandes, Marcos Treviso외 3명|arXiv (Cornell University)|2022. 04. 22.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 SMaT(Scaffold-Maximizing Training)라는 메타학습 프레임워크를 소개한다. 이 프레임워크는 모델 설명의 품질을 최적화하여 학생 모델의 교사 모델 예측을 시뮬레이션하는 능력을 향상시킨다. 설명 품질을 학생의 시뮬레이션 능력의 함수로 간주함으로써, SMaT는 NLP 및 비전 작업 전반에서 인간의 이해과 일치하는 더 효과적인 설명을 생성하는 주의 기반 설명 모듈을 훈련시킨다. 이는 정적 또는 기울기 기반 기준 대비 시뮬레이션 정확도와 타당성 측면에서 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Modern machine learning models are opaque, and as a result there is a burgeoning academic subfield on methods that explain these models' behavior. However, what is the precise goal of providing such explanations, and how can we demonstrate that explanations achieve this goal? Some research argues that explanations should help teach a student (either human or machine) to simulate the model being explained, and that the quality of explanations can be measured by the simulation accuracy of students on unexplained examples. In this work, leveraging meta-learning techniques, we extend this idea to improve the quality of the explanations themselves, specifically by optimizing explanations such that student models more effectively learn to simulate the original model. We train models on three natural language processing and computer vision tasks, and find that students trained with explanations extracted with our framework are able to simulate the teacher significantly more effectively than ones produced with previous methods. Through human annotations and a user study, we further find that these learned explanations more closely align with how humans would explain the required decisions in these tasks. Our code is available at https://github.com/coderpat/learning-scaffold

연구 동기 및 목표

• qualitative 욕구를 넘어서 측정 가능한 원칙적인 기준이 부족한 모델 설명 평가 및 향상 문제를 해결하기 위해.
• 설명 품질을 학생 모델이 교사의 행동을 설명만으로 시뮬레이션할 수 있는 능력으로 정의하여, 교육적 사다리 구조와 일치시킨다.
• 기존 방법을 평가하는 것이 아니라, 학생 학습을 위한 직접적인 설명 최적화를 위한 프레임워크를 개발하기 위해.
• 결정 과정에서 인간의 사고 패턴과 일치하도록 설명의 타당성을 향상시키기 위해.
• 인간이 주석한 근거가 필요 없이, 시뮬레이션 능력을 해석 가능성의 대체 지표로 사용하여 설명 모듈의 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 설명 최적화 문제를 이중 최적화 문제로 수식화한다: 설명 모듈은 학생 모델이 교사 모델을 얼마나 잘 시뮬레이션하는지에 따라 업데이트된다.
• 고차 미분을 사용하여 학생 훈련 과정을 역전파로 전파함으로써 설명 모듈의 엔드 투 엔드 최적화를 가능하게 한다.
• 모든 주의 기반 모델(예: 트랜스포머)에 적용 가능한 파arameterized 주의 기반 설명 모듈을 제안한다.
• 학생 모델을 입력과 설명을 사용하여 교사의 출력을 예측하도록 훈련시키며, 설명 모듈의 파라미터는 테스트 시점의 시뮬레이션 정확도를 최대화하도록 업데이트된다.
• 사전 훈련된 트랜스포머 모델을 사용하여 텍스트 분류, 이미지 분류, 다국어 텍스트 회귀 등 다양한 작업에 프레임워크를 통합한다.
• 자동화된 시뮬레이션 메트릭과 인간 주석 기반 타당성 평가를 통해 설명 품질을 평가하며, 이미지 분류 작업에 대한 인간 연구도 포함한다.

실험 결과

연구 질문

• RQ1 학생 모델이 교사 모델을 더 정확하게 시뮬레이션할 수 있도록 모델 설명을 최적화할 수 있는가?
• RQ2 우리 프레임워크가 생성한 설명은 기존 방법에 비해 인간의 사고 패턴과 더 잘 일치하는가?
• RQ3 아키텍처 제약 없이 다양한 모odalities와 작업에 SMaT 프레임워크를 적용할 수 있는가?
• RQ4 시뮬레이션 능력을 통해 엔드 투 엔드로 설명 모듈을 훈련시키면 기울기 기반 또는 정적 주의 방법에 비해 더 충실하고 비트리비얼한 설명을 얻을 수 있는가?
• RQ5 이 프레임워크는 기울기 기반 또는 근거 제시 방법과 같은 비주류 주의 기반 설명 모듈을 최적화하는 데도 확장 가능한가?

주요 결과

• SMaT가 생성한 설명을 사용해 훈련된 학생 모델은 정적 주의 또는 기울기 기반 설명을 사용한 경우보다 시험 데이터에서 훨씬 높은 시뮬레이션 정확도를 달성했다.
• 인간 주석 평가 결과, SMaT가 생성한 설명은 텍스트 분류 및 회귀 작업에서 인간의 근거와 더 타당하고 유사한 것으로 평가되었다.
• 이미지 분류 작업에 대한 사용자 연구에서 참가자들은 SMaT가 생성한 설명이 기준 방법보다 더 직관적이고 인간의 의사결정과 더 잘 일치한다고 평가했다.
• 프레임워크는 이전의 시뮬레이션 최적화 설명 모듈에서 발생했던 비현실적인 설명 프로토콜(예: 구두점이나 정지어에만 집중하는 것)을 피하는 데 성공했다.
• 파rameterized 주의 기반 설명 모듈은 트랜스포머 내에서 의미 있는 주의 헤드를 발견하여, 표준 주의 시각화를 넘어서는 해석 가능성의 가능성을 보였다.
• SMaT는 아키텍처 수정 없이도 다양한 작업에서 일반화되었으며, NLP 및 컴퓨터 비전 벤치마크에서 모두 시뮬레이션 능력을 향상시켰다.