[논문 리뷰] Mass Personalization of Deep Learning

Johannes Schneider, Michail Vlachos|arXiv (Cornell University)|2019. 09. 06.

Machine Learning and Data Classification참고 문헌 26인용 수 9

한 줄 요약

이 논문은 깊이 신경망의 대량 개인화를 위한 세 가지 커리큘럼 학습 기반 방법을 제안하며, 성능 저하를 방지하기 위해 다양하고 제한된 데이터로 초기 학습을 강조한다. 초기 단계에서 모든 클래스에 노출되더라도 소량이라도 모델의 적응 능력과 최종 성능을 향상시킨다는 점을 발견하였으며, 이는 학습 발달의 심리학 이론과 일치한다.

ABSTRACT

We discuss training techniques, objectives and metrics toward mass personalization of deep learning models. In machine learning, personalization refers to the fact that every trained model should be targeted towards an individual by optimizing one or several performance metrics and often obeying additional constraints. We investigate three methods for personalized training of neural networks. They constitute three forms of curriculum learning. The methods are partially inspired by the shaping concept from psychology. Interestingly, we discover that extensive exposure to a limited set of training data in terms of class diversity \emph{early} in the training can lead to an irreversible reduction of the capability of a network to learn from more diverse training data. This is in close alignment with existing theories in human development. In contrast, training on a small data set covering all classes \emph{early} in the training can lead to better performance.

연구 동기 및 목표

• 개인 사용자에게 효과적인 딥 러닝 모델 개인화를 가능하게 하는 학습 전략을 조사하기 위해.
• 커리큘럼 학습 및 데이터 노출 순서가 모델 성능와 일반화에 미치는 영향을 탐색하기 위해.
• 제한된 초기 데이터 다양성으로 인한 영구적인 성능 저하를 방지할 수 있는 학습 제도를 규명하기 위해.
• 신경망 학습 동역학과 인간 발달 학습 이론 간의 유사성을 도출하기 위해.

제안 방법

• 세 가지 개인화된 학습 방법이 제안되며, 각각 다른 데이터 노출 스케줄을 가진 커리큘럼 학습 원칙에 기반한다.
• 이 방법들은 초기 학습 과정에서 제시되는 학습 데이터의 순서와 다양성을 제어한다.
• 학습이 초기에 모델의 초기 학습 궤적을 형성하기 위해 소규모이지만 클래스가 다양한 데이터 하위집합으로 시작된다.
• 이 접근법은 초기에 목표가 정해진 자극이 장기적 학습을 이끄는 심리학적 개념인 '형태 조정(shapeing)'에서 영감을 얻는다.
• 개별화된 메트릭과 제약 조건을 사용하여 성능을 평가하여 개인화 효과성을 확보한다.
• 프레임워크는 초기 데이터 다양성(량이 아닌)이 최종 모델 능력에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 초기 학습 데이터의 순서와 다양성이 개인화된 딥 러닝 모델의 최종 성능에 어떻게 영향을 미치는가?
• RQ2 커리큘럼 학습 전략이 개인화 모델의 영구적인 성능 저하를 방지할 수 있는가?
• RQ3 제한된 데이터로도 광범위한 클래스 분포에 조기에 노출되면 모델의 일반화 능력과 개인화 정확도가 향상되는가?
• RQ4 이러한 학습 전략이 인간 인지 발달 이론과 어느 정도 일치하는가?

주요 결과

• 제한된 클래스 집합에 대한 광범위한 초기 노출은 개인화 모델의 영구적인 성능 저하를 초래한다.
• 초기 학습 단계에서 소규모이지만 클래스가 다양한 데이터 하위집합으로 학습하면 최종 모델 성능이 크게 향상된다.
• 초기 클래스 다양성을 경험한 모델은 새로운 개인화 작업에 대해 더 뛰어난 적응 능력과 일반화 능력을 보인다.
• 결과는 초기 데이터 다양성이 효과적인 개인화를 위해 초기 데이터 양보다 더 중요하다는 가설을 지지한다.