[논문 리뷰] Optimizing Data Usage via Differentiable Rewards

Xinyi Wang, Hieu Pham외 4명|arXiv (Cornell University)|2019. 11. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 4

한 줄 요약

이 논문은 이미지 분류 및 다국어 신경 기계 번역에서 강력한 베이스라인보다 일관된 성능 향상을 이룬, 학습 데이터를 경량화하고 개선된 개선도를 달성하기 위해 경량화된 스코어러를 동적으로 가중치를 조정하는 강화학습 프레임워크인 Differentiable Data Selection(DDS)을 제안한다. 이는 수동 설계된 히우리스틱이나 다중 런을 통한 고비용 학습이 필요 없이 효율적이고 종단 간 최적화된 데이터 사용을 가능하게 한다.

ABSTRACT

To acquire a new skill, humans learn better and faster if a tutor, based on their current knowledge level, informs them of how much attention they should pay to particular content or practice problems. Similarly, a machine learning model could potentially be trained better with a scorer that "adapts" to its current learning state and estimates the importance of each training data instance. Training such an adaptive scorer efficiently is a challenging problem; in order to precisely quantify the effect of a data instance at a given time during the training, it is typically necessary to first complete the entire training process. To efficiently optimize data usage, we propose a reinforcement learning approach called Differentiable Data Selection (DDS). In DDS, we formulate a scorer network as a learnable function of the training data, which can be efficiently updated along with the main model being trained. Specifically, DDS updates the scorer with an intuitive reward signal: it should up-weigh the data that has a similar gradient with a dev set upon which we would finally like to perform well. Without significant computing overhead, DDS delivers strong and consistent improvements over several strong baselines on two very different tasks of machine translation and image classification.

연구 동기 및 목표

• 기계 학습에서 훈련 데이터 분포가 테스트 분포와 다를 경우 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 데이터 선택, 가중치 설정 또는 커리큘럼 학습을 위한 수동 설계된 히우리스틱이나 작업별 규칙에 의존하지 않기 위해.
• 학습 중에 적응하면서 개선도를 향상시키는 일반화 가능한 효율적인 데이터 사용 최적화 방법을 개발하기 위해.
• 모델의 학습 상태에 따라 자동으로 적응하는 데이터 가중치를 제공하여 다중 런 학습이 필요 없도록 하기 위해.

제안 방법

• 훈련 예제에 대한 가중치를 스코어러 네트워크에 의해 매개변수화된 가분 함수로 공식화하며, 주 모델과 함께 훈련되는 스코어러 네트워크를 사용한다.
• 훈련 예제와 개선도 세트 간의 기울기 일치를 보상 신호로 사용하여 스코어러 최적화를 이끌어낸다.
• 스코어러가 개선도 세트에서 모델의 손실를 최소화하도록 직접 미분을 통해 업데이트되는 양방향 최적화 프레임워크를 적용한다.
• 스코어러 네트워크를 통해 기울기를 효율적으로 전파할 수 있도록, 가분 업데이트 규칙을 통해 보상 신호를 적용한다.
• 이중 구체적 구현을 제안한다: 하나는 이미지 분류(CIFAR-10, ImageNet)용이고, 다른 하나는 다국어 신경 기계 번역용이다.
• 최근의 기울기 기반 메타학습 및 보조 작업 학습 기법을 활용하여 안정적이고 효과적인 보상 함수를 정의한다.

실험 결과

연구 질문

• RQ1 학습 데이터를 동적으로 가중치 조정하기 위해 종단 간으로 학습 가능한 스코어러 네트워크를 훈련시킬 수 있는가?
• RQ2 수동 설계된 히우리스틱이나 다중 런 학습에 의존하지 않고 데이터 관련성을 반영할 수 있는 보상 신호는 어떻게 설계할 수 있는가?
• RQ3 제안된 가분 프레임워크는 이미지 분류 및 신경 기계 번역과 같은 다양한 작업에 일반화될 수 있는가?
• RQ4 훈련 세트와 개선도 세트 예제 간의 기울기 일치가 데이터 유용성의 신뢰할 수 있고 효과적인 대체 지표로 작용하는가?

주요 결과

• DDS는 이미지 분류 및 다국어 신경 기계 번역 작업 모두에서 강력한 베이스라인보다 일관되고 뚜렷한 성능 향상을 이룬다.
• 이미지 분류에서 Ren 등(2018)의 히우리스틱 기반 및 메타학습 기반 베이스라인보다 큰 격차로 승리한다.
• 다국어 NMT에서는 관련 언어(예: 슬로바키아어를 위한 체코어 데이터)의 데이터를 우선순위로 삼는 것을 학습하며, 학습 중에 동적으로 적응한다.
• 데이터 가중치 전략은 시간이 지남에 따라 변화하며, 학습 단계에 따라 다른 언어 쌍이나 데이터 유형에 초점을 옮긴다.
• 추가적인 학습 런이나 고비용의 다중 런 최적화가 필요 없어 계산적으로 효율적이다.