[논문 리뷰] Learning to Teach with Deep Interactions.

Fan Yang, Yingce Xia외 7명|arXiv (Cornell University)|2020. 07. 09.

Machine Learning and Data Classification참고 문헌 47인용 수 12

한 줄 요약

이 논문은 기계 학습에서 교사 모델이 학습 반복 횟수와 손실 외에도 학생 모델의 내부 상태를 활용하는 딥 인터랙션 프레임워크를 제안한다. 이는 검증 세트에서 유도된 메타기울기를 통해 공동 메타학습을 수행함으로써 실현된다. 제안된 방법은 이전의 접근 방식에 비해 청소화된 레이블과 노이즈가 있는 레이블을 모두 포함한 이미지 분류 과제에서 데이터 교육 성능을 크게 향상시킨다.

ABSTRACT

Machine teaching uses a meta/teacher model to guide the training of a student model (which will be used in real tasks) through training data selection, loss function design, etc. Previously, the teacher model only takes shallow/surface information as inputs (e.g., training iteration number, loss and accuracy from training/validation sets) while ignoring the internal states of the student model, which limits the potential of learning to teach. In this work, we propose an improved data teaching algorithm, where the teacher model deeply interacts with the student model by accessing its internal states. The teacher model is jointly trained with the student model using meta gradients propagated from a validation set. We conduct experiments on image classification with clean/noisy labels and empirically demonstrate that our algorithm makes significant improvement over previous data teaching methods.

연구 동기 및 목표

• 기존의 기계 학습 방법이 학습 반복 횟수와 손실과 같은 얕은 입력에만 의존하는 한계를 극복하기 위해.
• 학습자 모델의 내부 상태를 교사의 의사결정 과정에 통합하여 데이터 교육을 향상시키기 위해.
• 특히 노이즈가 있는 레이블 설정에서 일반화 능력과 강건성을 향상시키기 위해.
• 검증 기반 메타기울기를 사용하여 교사 및 학습자 모델이 함께 최적화되는 공동 학습 프레임워크를 개발하기 위해.

제안 방법

• 교사 모델은 검증 세트에서 계산된 메타기울기를 통해 학생 모델과 함께 공동으로 학습된다.
• 학습 도중 학생 모델의 내부 상태(예: 은닉 표현 또는 기울기)에 접근하여 데이터 선택 및 손실 함수 설계에 정보를 제공한다.
• 메타기울기가 학생의 학습 과정과 교사의 교육 정책 양쪽을 통해 역전파된다.
• 교사가 학생의 학습 역학에 실시간으로 대응할 수 있도록 함으로써 동적이고 적응형 교육이 가능해진다.
• 강건성과 성능을 평가하기 위해 청소화된 레이블과 노이즈가 있는 레이블을 모두 포함한 이미지 분류 과제에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 표면적인 학습 신호에만 의존하는 것 외에 학생 모델의 내부 상태를 활용하면 데이터 교육 성능이 향상될 수 있는가?
• RQ2 교사 및 학습자 모델 간의 딥 인터랙션은 이미지 분류에서 일반화에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 노이즈가 있는 레이블 벤치마크에서 기존의 데이터 교육 접근 방식을 얼마나 뛰어넘는가?
• RQ4 검증 기반 메타기울기를 사용한 공동 메타학습은 어떻게 교육 효과를 향상시키는가?

주요 결과

• 제안된 방법은 이미지 분류 과제에서 이전의 데이터 교육 방법에 비해 뚜렷한 성능 향상을 달성한다.
• 노이즈가 있는 레이블을 포함한 학습 데이터에서 모델이 기존 기준 방법보다 더 강건한 성능을 보인다.
• 학습 반복 횟수와 손실 지표만을 사용하는 방법에 비해 내부 학생 모델 상태를 통합함으로써 더 효과적인 데이터 선택 및 손실 함수 설계가 가능하다.
• 메타기울기를 사용한 공동 학습은 교사가 학생의 학습 궤적에 동적으로 적응할 수 있도록 하여 수렴성과 정확도를 향상시킨다.