[논문 리뷰] WT5?! Training Text-to-Text Models to Explain their Predictions

Sharan Narang, Colin Raffel외 4명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 54인용 수 103

한 줄 요약

이 논문은 텍스트-투-텍스트 모델을 훈련시켜 예측과 함께 자연어 설명을 생성하도록 하며, 최첨단 설명 가능성을 달성하고 학습 손실을 바꾸지 않고 반감독 및 교차 도메인 전이 가능하게 한다.

ABSTRACT

Neural networks have recently achieved human-level performance on various challenging natural language processing (NLP) tasks, but it is notoriously difficult to understand why a neural network produced a particular prediction. In this paper, we leverage the text-to-text framework proposed by Raffel et al.(2019) to train language models to output a natural text explanation alongside their prediction. Crucially, this requires no modifications to the loss function or training and decoding procedures -- we simply train the model to output the explanation after generating the (natural text) prediction. We show that this approach not only obtains state-of-the-art results on explainability benchmarks, but also permits learning from a limited set of labeled explanations and transferring rationalization abilities across datasets. To facilitate reproducibility and future work, we release our code use to train the models.

연구 동기 및 목표

• 신경 예측을 해석 가능하게 만들려는 동기를 부여하고, 자연어 설명을 가능하게 한다.
• 학습 또는 디코딩 절차를 변경하지 않고도 설명을 출력하도록 모델을 학습시키기 위해 텍스트-투-텍스트 프레임워크를 활용한다.
• 여러 NLP 과제에 걸친 설명 가능성 벤치마크에서 최첨단 성능을 보여준다.
• 설명 능력의 반지도 학습, 교차 도메인 및 교차 작업 전이를 탐구한다.

제안 방법

• 기본 모델로 Text-to-Text Transfer Transformer (T5)를 사용하고, 자연어 설명을 포함한 분류를 위해 미세조정한다.
• 필요에 따라 입력 앞에 토큰 explain 를 접두사로 추가하여 출력에 동반 설명을 생성한다.
• 설명 있음 예시와 설명 없음 예시를 혼합된 목표로 학습하여 반지도 학습을 가능하게 한다.
• 선택적으로 입력 구간에 정렬될 수 있는 설명 구간을 출력하도록 모델을 학습시켜 추출적 설명을 지원한다.
• 추상적 설명은 BLEU로, 추출적 설명은 토큰화된 입력 구간에 대한 F1으로 평가하고, Mechanical Turk를 통한 인간 판단으로 보완한다.

실험 결과

연구 질문

• RQ1 손실 객체를 수정하지 않고도 하나의 텍스트-투-텍스트 모델이 예측에 대한 일관된 자연어 설명을 생성할 수 있는가?
• RQ2 설명을 포함하는 것이 데이터세트 전반에서 예측 정확도와 설명 품질에 어떤 영향을 미치는가?
• RQ3 설명이 데이터의 일부에만 제공되는 반지도 학습의 효과는 무엇인가?
• RQ4 명시적 설명 주석 없이도 도메인 및 작업 간 설명 능력이 어느 정도 전이될 수 있는가?

주요 결과

• WT5-11B는 데이터세트 전반에서 높은 정확도와 경쟁력 있는 설명 품질을 달성하며, 예측과 설명 모두에서 자주 기존 최첨단과 일치하거나 이를 능가한다.
• 모델은 여러 데이터세트에서 인간 판단으로 측정한 설명 품질 면에서 인간 수준 또는 인간을 능가하는 수준에 도달한다.
• 설명 생성은 제한된 주석 설명으로 반지도 설정에서도 여전히 효과적이며, 특히 추상적 설명에서 그렇다.
• 교차 도메인 전이(MNLI, IMDb 등)는 높은 인간 평가 품질과 강한 분류 성능을 가진 타당한 설명을 산출한다.
• 적절한 입력 포맷과 빔 서치 디코딩으로 교차 작업 전이(e-SNLI에서 CoS-E)도 가능하며 합리적인 설명을 생성한다.