[논문 리뷰] Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU

Meghana Moorthy Bhat, Alessandro Sordoni외 1명|arXiv (Cornell University)|2021. 09. 17.

Intelligent Tutoring Systems and Adaptive Learning인용 수 5

한 줄 요약

이 논문은 제한된 레이블된 데이터를 사용하여 작업 레이블을 예측하고 추론 과정을 생성하는 것을 동시에 학습함으로써 소수 샘플 자연어 이해 성능을 향상시키는 다중 작업 자기학습 프레임워크를 제안한다. 신뢰도 기반 재가중 및 추론의 충분성, 완전성, 간결성을 강제하는 손실 함수를 통해 교사 모델이 생성한 가짜 레이블을 통합함으로써, 자원이 제한된 환경에서 모델 성능과 해석 가능성 모두를 크게 향상시킨다.

ABSTRACT

While pre-trained language models have obtained state-of-the-art performance for several natural language understanding tasks, they are quite opaque in terms of their decision-making process. While some recent works focus on rationalizing neural predictions by highlighting salient concepts in the text as justifications or rationales, they rely on thousands of labeled training examples for both task labels as well as an-notated rationales for every instance. Such extensive large-scale annotations are infeasible to obtain for many tasks. To this end, we develop a multi-task teacher-student framework based on self-training language models with limited task-specific labels and rationales, and judicious sample selection to learn from informative pseudo-labeled examples1. We study several characteristics of what constitutes a good rationale and demonstrate that the neural model performance can be significantly improved by making it aware of its rationalized predictions, particularly in low-resource settings. Extensive experiments in several bench-mark datasets demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 대규모로 애너테이션된 추론을 확보하는 것이 불가능한 저자원 자연어 이해 도전 과제 해결.
• 최소한의 감독 하에 작업 레이블과 추론 예측을 동시에 학습하여 모델 성능과 해석 가능성 향상.
• 교사 모델이 생성한 가짜 레이블을 활용하여 학생 모델의 일반화 능력을 향상시키는 자기학습 프레임워크 개발.
• 추론의 품질을 확보하기 위해 충분성, 완전성, 일관성과 같은 핵심 특성을 맞춤형 손실 함수를 통해 강제함.

제안 방법

• 학생 모델이 입력 텍스트에서 작업 레이블을 동시에 예측하고 추론을 추출하는 다중 작업 학습 설정 사용.
• 소규모 레이블된 예제로 교사 모델을 훈련하고, 각 자기학습 반복 단계에서 미레이블된 데이터에 대해 가짜 레이블을 생성.
• 샘플 및 토큰 수준에서 정보성 있는 가짜 레이블 예제는 가중치를 높이고 노이즈가 많은 예제는 낮추기 위해 신뢰도 기반 재가중 적용.
• 추론 품질을 강제하기 위해 세 가지 손실 구성 요소 사용: 충분성(추론과 전체 입력에 대한 학생 예측 일치), 완전성(추론이 마스킹되었을 때 엔트로피 최대화), 간결성(간결한 추론 장려).
• 가짜 레이블의 노이즈로 인한 오류 전파를 방지하기 위해 추론 모듈의 검증 손실 기반 조기 정지 수행.
• 각 반복 단계에서 레이블된 데이터에 대해 교사 모델을 미세조정하여 분포 이탈을 방지하고 원래 작업과의 일치 유지.

실험 결과

연구 질문

• RQ1 소수 샘플 추론을 통한 자기학습이 저자원 환경에서 후행 NLU 성능을 향상시킬 수 있는가?
• RQ2 고품질 추론을 정의하는 특성들은 무엇이며, 이를 신경망 모델에 효과적으로 통합할 수 있는가?
• RQ3 작업 예측과 추론 추출을 동시에 학습하는 다중 작업 학습 방식이 분리된 접근 방식보다 어떻게 다른가?
• RQ4 가짜 레이블 예제에 대한 신뢰도 기반 재가중이 모델의 강건성과 성능 향상에 얼마나 기여하는가?
• RQ5 다양한 손실 구성 요소(충분성, 완전성, 간결성)가 추론 생성의 품질과 안정성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 다중 작업 자기학습 프레임워크는 ERASER 벤치마크의 다섯 가지 벤치마크 데이터셋에서 후행 작업 정확도와 추론 품질을 모두 크게 향상시켰다.
• 가짜 레이블 예제에 대한 신뢰도 기반 재가중이 성능 향상을 이끌었으며, 특히 Movies 데이터셋에서 두드러진 성과를 보였지만, 영향은 추론 커버리지에 따라 다를 수 있다.
• 완전성 손실가 스파arsity 손실로 인한 불안정성을 효과적으로 완화하여 학습 수렴성과 추론 일관성을 향상시켰다.
• 모델은 12~15회의 자기학습 반복 내에 수렴하지만, 약 10회 이후 오류 전파로 인해 추론 추출 품질이 떨어지므로 조기 정지를 필요로 한다.
• 제거 실험 결과, 충분성, 완전성, 간결성의 세 가지 손실 구성 요소가 모두 간결하고 정확하며 맥락에 적절한 추론을 생성하는 데 필수적임을 확인했다.
• 이 프레임워크는 소수 샘플 설정에서 최신 기술보다 뛰어난 성능을 보였으며, 모델이 자신의 추론을 인지하도록 하는 것이 고자원 환경에서도 성능 향상에 기여한다는 점을 입증했다.