[논문 리뷰] Learning to Teach with Dynamic Loss Functions

Lijun Wu, Fei Tian외 5명|arXiv (Cornell University)|2018. 10. 29.

Machine Learning and Algorithms참고 문헌 42인용 수 42

한 줄 요약

본 논문은 신경 선생님이 훈련 중 학생 모델을 안내하기 위해 동적 손실 함수를 출력하는 L2T-DLF 프레임워크를 소개하며, 그래디언트 기반 역전파(Reverse-Mode Differentiation)로 최적화되어 이미지 분류 및 신경 기계 번역에서 성능을 향상시킨다.

ABSTRACT

Teaching is critical to human society: it is with teaching that prospective students are educated and human civilization can be inherited and advanced. A good teacher not only provides his/her students with qualified teaching materials (e.g., textbooks), but also sets up appropriate learning objectives (e.g., course projects and exams) considering different situations of a student. When it comes to artificial intelligence, treating machine learning models as students, the loss functions that are optimized act as perfect counterparts of the learning objective set by the teacher. In this work, we explore the possibility of imitating human teaching behaviors by dynamically and automatically outputting appropriate loss functions to train machine learning models. Different from typical learning settings in which the loss function of a machine learning model is predefined and fixed, in our framework, the loss function of a machine learning model (we call it student) is defined by another machine learning model (we call it teacher). The ultimate goal of teacher model is cultivating the student to have better performance measured on development dataset. Towards that end, similar to human teaching, the teacher, a parametric model, dynamically outputs different loss functions that will be used and optimized by its student model at different training stages. We develop an efficient learning method for the teacher model that makes gradient based optimization possible, exempt of the ineffective solutions such as policy optimization. We name our method as "learning to teach with dynamic loss functions" (L2T-DLF for short). Extensive experiments on real world tasks including image classification and neural machine translation demonstrate that our method significantly improves the quality of various student models.

연구 동기 및 목표

• AI에서 손실 함수 가르치기의 개념을 인간의 가르침과 시험에 비유해 동기화하고 형식화한다.
• 손실 함수 생성자 역할의 교사(teacher)와 학습자(learner)를 함께 학습시키기 위한 그래디언트 기반 최적화 프레임워크를 개발한다.
• 동적으로 학습된 손실 함수가 실제 작업에서 학생의 성능을 향상시킨다는 것을 보여준다.
• 역방향 모드를 사용하여 학습 과정을 역전파하고 교사 매개변수에 대한 그래디언트 dθ를 도출하는 효율적인 알고리즘을 제공한다.

제안 방법

• 학생 모델 f_ω를 정의하고 학습을 안내하는 학습 가능한 손실 l_Φ를 SGD를 통해 지도한다.
• 교사 모델 μ_θ를 도입하여 학생의 상태 s_t에 따라 손실 함수 계수 Φ_t를 출력하게 하여 학습 중 동적 손실 함수를 가능하게 한다.
• 무 differentiable한 작업별 메트릭 m을 학생의 출력 p_ω의 무작위성으로 얻은 연속 대리 손실으로 완화하여 미분 가능한 목적함수를 얻는다.
• Reverse-Mode Differentiation (RMD)을 적용하여 전체 학습 과정을 역전파하고 교사 매개변수의 그래디언트 dθ를 도출한다.
• Gradient-based optimization(예: Adam)을 사용하여 교사를 업데이트하고 결과 학생의 개발 집합 성능을 최대화하기 위해 반복한다.
• 이미지 분류 및 신경 기계 번역(NMT)에서의 구체적 구현을 제시하며, 손실 형태로 l_Φ(p, y) = -σ(y^T Φ log p) 및 주의(attention) 기반 Φ_t 출력과 같은 예를 포함한다.

실험 결과

연구 질문

• RQ1 신경 교사가 고정 손실에 비해 개발 세트 개발 성능을 향상시키는 손실 함수를 출력하도록 학습할 수 있는가?
• RQ2 교사가 학생의 다양한 학습 단계에 맞춰 손실 함수를 효율적으로 최적화할 수 있는 방법은 무엇인가?
• RQ3 동적으로 학습된 손실 함수가 이미지 분류 및 신경 기계 번역과 같은 작업 간에 일반화되는가?
• RQ4 학습 중에 학습된 손실 함수의 구조에 관해 어떤 통찰을 얻을 수 있는가?

주요 결과

• 교사가 학습한 동적 손실 함수가 다수의 학생 아키텍처 및 작업에서 성능 향상을 가져온다.
• CIFAR-10에서 다양한 모델에 대해 교사 강화 손실이 더 낮은 오차율을 달성하며, 예를 들어 WRN은 CIFAR-10에서 3.42%에 도달하고 DenseNet-BC는 CIFAR-10에서 3.08%로 개선된다.
• MNIST에서 L2T-DLF를 활용한 학습은 MLP, LeNet 등 다양한 모델에서 오차율을 낮추는 결과를 보인다.
• NMT 작업(IWSLT-14 German→English)에서 L2T-DLF가 LSTM-1, LSTM-2, Transformer 학생들 간 BLEU 점수를 향상시키며(예: Transformer는 34.01에서 34.80 BLEU로 증가).
• 학습된 손실 계수 Φ_t는phase-dependent 초점을 보여 주로 쉬운 클래스 간의 유사성 형성(초기)에서 유사한 클래스 간의 구별 강화(후기)로의 변화를 나타낸다.