[논문 리뷰] Learning from the Best: Rationalizing Prediction by Adversarial Information Calibration

Lei Sha, Oana-Maria Camburu외 1명|arXiv (Cornell University)|2020. 12. 16.

Topic Modeling참고 문헌 43인용 수 4

한 줄 요약

이 논문은 신경망 모델에서 추출적 근거 추출을 위한 새로운 적대적 정보 校정 방법을 제안한다. 여기서 선택기-예측기 모델은 내부 표현을 일치시켜 암묵적인 '가이더' 모델을 모방하도록 학습한다. 또한 유창하고 일관된 근거를 보장하기 위해 언어 모델 기반 정규화기를 도입하여, 예측 정확도를 희생시키지 않고도 근거의 정밀도와 재현율을 크게 향상시킨다. 감성 및 법적 판단 작업에서 성능을 유지하면서도 효과적으로 작동한다.

ABSTRACT

Explaining the predictions of AI models is paramount in safety-critical applications, such as in legal or medical domains. One form of explanation for a prediction is an extractive rationale, i.e., a subset of features of an instance that lead the model to give its prediction on the instance. Previous works on generating extractive rationales usually employ a two-phase model: a selector that selects the most important features (i.e., the rationale) followed by a predictor that makes the prediction based exclusively on the selected features. One disadvantage of these works is that the main signal for learning to select features comes from the comparison of the answers given by the predictor and the ground-truth answers. In this work, we propose to squeeze more information from the predictor via an information calibration method. More precisely, we train two models jointly: one is a typical neural model that solves the task at hand in an accurate but black-box manner, and the other is a selector-predictor model that additionally produces a rationale for its prediction. The first model is used as a guide to the second model. We use an adversarial-based technique to calibrate the information extracted by the two models such that the difference between them is an indicator of the missed or over-selected features. In addition, for natural language tasks, we propose to use a language-model-based regularizer to encourage the extraction of fluent rationales. Experimental results on a sentiment analysis task as well as on three tasks from the legal domain show the effectiveness of our approach to rationale extraction.

연구 동기 및 목표

• 의료 및 법적 분야와 같이 안전이 중요한 분야에서 블랙박스 신경망 모델의 신뢰성과 해석 가능성 향상.
• 이전의 선택기-예측기 모델이 근거 선택을 위한 학습 신호로 예측 정확도만에 의존하는 한계를 해결.
• 최고 성능을 보이는 '가이더' 모델의 정보를 활용하여 최적의 근거 선택을 위한 탐색 공간을 축소.
• 추출된 근거가 의미적으로 유창하고 일관되게 유지되도록 보장하여 인접한 토큰의 임의의 선택을 방지.
• 적대적 校정과 언어 모델링을 통해 근거 품질과 예측 성능을 동시에 최적화하는 방법 개발.

제안 방법

• 문제에 대해 고정밀도를 보이는 블랙박스 기준 모델로 '가이더' 모델을 훈련시키며, 이는 해석 가능할 필요는 없다.
• 선택된 특징만을 기반으로 특징을 선택하고 예측을 수행하는 선택기-예측기 모델을 훈련시키며, 별도의 근거 출력을 제공한다.
• 가이더 모델과 선택기-예측기 모델의 최종 표현 벡터를 일치시키기 위해 적대적 정보 校정 기법을 사용하여 그들의 발산을 최소화한다.
• 두 모델에 정보 복잡도 차단 기법을 적용하여, 유일하게 필요한 최소한의 정보만 유지되도록 하여 간결한 근거를 촉진한다.
• 선택된 토큰들이 자연스럽고 연속적인 하위구문을 형성하도록 유도하기 위해 언어 모델 기반 정규화기를 도입한다.
• 판별기 모델이 두 모델의 표현을 구분할 수 있도록 하며, 기울기 기반 훈련을 통해 전체 시스템을 종단 간 최적화한다.

실험 결과

연구 질문

• RQ1 블랙박스 가이더 모델과 선택기-예측기 모델 간의 적대적 校정이 예측 정확도 외의 근거 품질 향상에 기여하는가?
• RQ2 언어 모델 정규화기를 통합할 경우 NLP 작업에서 추출된 근거의 유창성과 일관성은 어떻게 영향을 받는가?
• RQ3 제안된 방법이 최신 기준 모델 대비 근거 추출의 정밀도와 재현율을 얼마나 향상시키는가?
• RQ4 이 방법은 감성 분석 및 법적 판단 예측과 같은 다양한 도메인으로 일반화 가능한가, 동시에 높은 예측 정확도를 유지하는가?
• RQ5 정보 복잡도 차단 구성 요소가 근거에서 과적합 및 불필요한 특징 선택을 효과적으로 줄이는가?

주요 결과

• 제안된 방법은 감성 분석 및 법적 판단 작업 모두에서 이전 최고 수준의 모델보다 높은 정밀도와 재현율을 달성하여 근거 추출 성능을 크게 향상시켰다.
• 언어 모델 기반 정규화기는 고립되거나 비순차적인 토큰의 선택을 억제함으로써 자연스럽고 일관된 근거를 효과적으로 촉진한다.
• 적대적 정보 校정을 통해 선택기-예측기 모델은 가이더 모델의 고품질 표현을 활용하여 더 정확하고 관련성이 높은 특징 선택을 학습할 수 있었다.
• 성능과 해석 가능성 간의 상충 관계를 효과적으로 완화하며, 예측 정확도를 유지하거나 향상시키면서도 해석 가능성 향상을 동시에 달성했다.
• 법적 판단 작업에 대한 인간 평가 결과, 제안된 방법으로 생성된 근거는 베이스라인 모델보다 더 의미적으로 유의미하고 인간 애너테이션 근거에 가까운 것으로 확인되었다.
• 제거 실험 결과, 적대적 校정과 언어 모델 정규화기 모두 전체 성능 향상에 기여하는 중요한 요소로 나타났다.