[논문 리뷰] Learning to Teach with Student Feedback

Yitao Liu, Tianxiang Sun외 2명|arXiv (Cornell University)|2021. 09. 10.

Topic Modeling참고 문헌 18인용 수 6

한 줄 요약

이 논문은 교사 모델이 학생 모델의 피드백에 기반해 소프트 타겟을 동적으로 조정할 수 있도록 허용함으로써 교사와 학생 모델 간의 이방향 지식 전이를 가능하게 하는 새로운 프레임워크인 상호작용 지식 증류(IKD)를 제안한다. 메타학습 기반의 강의-시험 훈련 루프를 사용하여 두 모델을 공동 최적화함으로써, GLUE 벤치마크의 여러 NLP 작업에서 기존의 단순 지식 증류보다 일관된 성능 향상을 달성한다.

ABSTRACT

Knowledge distillation (KD) has gained much attention due to its effectiveness in compressing large-scale pre-trained models. In typical KD methods, the small student model is trained to match the soft targets generated by the big teacher model. However, the interaction between student and teacher is one-way. The teacher is usually fixed once trained, resulting in static soft targets to be distilled. This one-way interaction leads to the teacher's inability to perceive the characteristics of the student and its training progress. To address this issue, we propose Interactive Knowledge Distillation (IKD), which also allows the teacher to learn to teach from the feedback of the student. In particular, IKD trains the teacher model to generate specific soft target at each training step for a certain student. Joint optimization for both teacher and student is achieved by two iterative steps: a course step to optimize student with the soft target of teacher, and an exam step to optimize teacher with the feedback of student. IKD is a general framework that is orthogonal to most existing knowledge distillation methods. Experimental results show that IKD outperforms traditional KD methods on various NLP tasks.

연구 동기 및 목표

• 일방향 지식 증류의 한계를 해결하기 위해, 교사 모델이 학생의 학습 진도에 적응할 수 없고 항상 정적일 수밖에 없는 문제를 해결한다.
• 훈련 중에 학생의 피드백을 통해 교사가 학습할 수 있도록 허용함으로써 동적이고 상호작용적인 지식 전이를 가능하게 한다.
• 교사와 학생 모델에 대한 공동 최적화 프레임워크를 통해 학생의 일반화 능력과 증류 효율성을 향상시킨다.
• 기존의 지식 증류 기법들과 수직적(orthogonal)인 방법으로, 특징 증류가 아닌 상호작용 교육에 초점을 맞춘다.
• 저자원 및 준감독 설정에서 피드백 기반 교사 적응의 효과성을 입증한다.

제안 방법

• IKD는 두 단계 반복 훈련 프로세스를 사용한다: 첫 번째 단계인 강의 단계에서는 학생이 교사가 생성한 소프트 타겟을 기반으로 훈련되고, 두 번째 단계인 시험 단계에서는 학생이 별도의 시험 데이터셋에서의 성능을 바탕으로 교사의 메타기울기를 생성한다.
• 시험 단계에서는 시험 데이터에 대해 한 번의 경사 하강 업데이트 이후의 성능을 평가하며, 그 결과로 발생하는 교차 엔트로피 손실이 메타학습을 통해 교사의 파라미터를 업데이트하는 데로 역전파된다.
• 이 프레임워크는 모델에 종속되지 않은 메타학습(MAML)에 기반하며, 계산 비용을 줄이기 위해 일阶 근사(first-order approximation)를 사용함으로써 교사가 학생의 일반화 능력을 향상시키는 가르침 전략을 학습할 수 있도록 한다.
• 강의 데이터와 시험 데이터는 서로 다른 배치이므로, 교사가 알려지지 않은 예측에 잘 일반화되는 소프트 타겟을 생성하도록 유도한다.
• 강의 데이터를 레이블 없이 허용함으로써 준감독 학습을 지원하며, 이는 저자원 상황으로의 적용 가능성을 넓힌다.
• 공동 최적화는 내부 루프(학생 업데이트)와 외부 루프(교사 업데이트)의 중첩 루프를 통해 달성되며, 학생의 시험 데이터에서의 성능에 기반한 기울기가 교사의 적응을 이끈다.

실험 결과

연구 질문

• RQ1 학습 중 학생 피드백에 기반해 교사 모델이 소프트 타겟을 동적으로 조정함으로써 증류 성능을 향상시킬 수 있는가?
• RQ2 상호작용 지식 증류가 NLP 작업 전반에서 학생의 일반화 능력과 정확도 측면에서 정적 지식 증류와 비교해 어떻게 다른가?
• RQ3 훈련의 다양한 단계에서 학생의 피드백이 교사의 가르침 전략을 적응시키는 데 미치는 영향은 어떠한가?
• RQ4 제안된 프레임워크는 강의 데이터가 레이블 없이 허용되는 준감독 설정으로 확장될 수 있는가?
• RQ5 메타학습을 통한 교사와 학생의 공동 최적화가 모델 효율성과 수렴성에 어떻게 영향을 미치는가?

주요 결과

• IKD는 GLUE 벤치마크의 여러 NLP 작업에서 기존의 단순 지식 증류를 일관되게 능가하며, 더 뛰어난 일반화 능력과 정확도를 보여준다.
• 학습 과정에서 학생 피드백 신호가 점차 0에 수렴함으로써, 교사의 적응형 가르침 전략이 초기 훈련 단계에서 효과적으로 작동하고 학생이 학습함에 따라 안정화됨을 시사한다.
• 이 프레임워크는 특정 특징(예: 어텐션 맵, 은닉 상태)을 증류하는 데에 초점을 맞춘 기존의 지식 증류 기법들과 수직적이며, 이러한 기법들과 결합할 경우 성능 향상을 이룬다.
• 시험 단계는 의미 있는 메타기울기를 제공하며, 이는 학생이 알려지지 않은 데이터에서의 성능 향상을 통해 효과적으로 교사의 적응을 이끌어내고 있음을 입증한다.
• IKD는 강의 데이터가 레이블 없이 허용되는 준감독 설정에서도 뛰어난 성능을 보이며, 완전히 감독된 증류를 넘어서도 유용성을 유지한다.
• 일阶 MAML 근사를 사용함으로써 효율적인 훈련이 가능하면서도 높은 성능를 유지할 수 있어, 대규모 NLP 모델에 실용적으로 적용 가능하다.