[논문 리뷰] Learning to Rank Learning Curves

Martin Wistuba, Tejaswini Pedapati|arXiv (Cornell University)|2020. 06. 05.

Machine Learning and Data Classification참고 문헌 23인용 수 5

한 줄 요약

이 논문은 학습 곡선을 다른 데이터셋에서 활용하여, 이른바 종료를 통해 모델 구성의 예측 및 순위 매기기를 수행하는 전이 학습 기반 방법인 LCRankNet을 제안한다. 이는 최대 100배의 가속도를 이끌어내며 성능 저하를 최소화하여 기존의 곡선 외삽 및 점별 순위 매기기 방법을 능가한다.

ABSTRACT

Many automated machine learning methods, such as those for hyperparameter and neural architecture optimization, are computationally expensive because they involve training many different model configurations. In this work, we present a new method that saves computational budget by terminating poor configurations early on in the training. In contrast to existing methods, we consider this task as a ranking and transfer learning problem. We qualitatively show that by optimizing a pairwise ranking loss and leveraging learning curves from other datasets, our model is able to effectively rank learning curves without having to observe many or very long learning curves. We further demonstrate that our method can be used to accelerate a neural architecture search by a factor of up to 100 without a significant performance degradation of the discovered architecture. In further experiments we analyze the quality of ranking, the influence of different model components as well as the predictive behavior of the model.

연구 동기 및 목표

• 불리한 모델 구성의 이른바 종료를 가능하게 하여 자동화된 머신 러닝의 높은 계산 비용 문제를 해결하기 위해.
• 기존의 학습 곡선 외삽 방법이 신뢰할 수 있는 예측을 위해 긴 또는 다수의 곡선을 필요로 하는 한계를 극복하기 위해.
• 절대 성능을 예측하는 대신, 한 구성이 다른 구성보다 우월할 가능성을 상대적으로 모델링하여 순위 매기기 성능을 향상시키기 위해.
• 학습 곡선이 짧거나 길이가 없더라도 다른 데이터셋에서의 전이 학습을 활용하여 효과적인 이른 종료를 가능하게 하기 위해.
• 이 방법이 신경망 아키텍처 탐색 및 하이퍼파라미터 최적화에서 효과적으로 작용함을 입증하기 위해.

제안 방법

• LCRankNet은 한 모델 구성이 다른 구성보다 우월할 확률을 직접 최적화하기 위해 쌍별 순위 매기기 손실을 사용한다.
• 부분적 학습 곡선, 모델 아키텍처 임베딩, 데이터셋 메타데이터 등 다양한 입력 모odalities를 통합하여 예측에 정보를 제공한다.
• 다양한 데이터셋의 학습 곡선으로 훈련함으로써 전이 학습을 활용하여, 관측된 곡선이 최소 또는 없더라도 새로운 미리 보지 않은 데이터셋에 일반화할 수 있도록 한다.
• 모델 구조에서 학습된 아키텍처 임베딩을 곡선 특징과 결합하여 이른 예측 정확도를 향상시킨다.
• TPE, Regularized Evolution, 강화 학습 등 다양한 최적화 프레임워크와 호환되어 NAS 및 하이퍼파라미터 튜닝에 활용될 수 있다.
• 제거 실험을 통해 메타데이터, 아키텍처, 곡선 특징 각각의 기여도를 검증하고, 쌍별 순위 매기기 손실와 점별 순위 매기기 손실를 비교한다.

실험 결과

연구 질문

• RQ1 학습 곡선이 길어질수록 점별 회귀 대비 쌍별 순위 매기기 손실이 모델 구성 순위 매기기 성능을 향상시키는가?
• RQ2 기타 데이터셋에서의 전이 학습을 통해 관측된 학습 에포크 수가 최소 또는 없더라도 학습 곡선의 정확한 순위 매기기가 가능할 정도로 정확한가?
• RQ3 아키텍처 임베딩과 메타데이터는 다양한 데이터셋과 모델 유형 간 일반화 능력 향상에 어떻게 기여하는가?
• RQ4 학습 곡선 길이가 순위 매기기 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ5 LCRankNet은 최종 모델 성능 저하 없이 신경망 아키텍처 탐색을 상당히 가속화할 수 있는가?

주요 결과

• LCRankNet은 전체 훈련 대비 성능 저하가 거의 없는 상태에서 신경망 아키텍처 탐색을 최대 100배 가속화한다.
• 쌍별 순위 매기기 손실이 점별 회귀를 능가하지만, 학습 곡선이 길어질수록 그 성능 향상이 두드러지며, 매우 짧은 곡선에서는 점별 손실이 더 우수한 성능를 보인다.
• 메타데이터와 아키텍처 임베딩은 학습 곡선 데이터가 부족할 경우 모델의 안정성과 성능 향상에 필수적이다.
• 학습 곡선 특징, 아키텍처 임베딩, 메타데이터의 조합이 가장 높은 성능를 보이며, 각 구성 요소가 최종 결과에 상호 독립적으로 기여한다.
• LCRankNet은 이미지 분류 및 표본 회귀 벤치마크에서 TPE, Regularized Evolution, 강화 학습을 포함한 다양한 방법에서 최적화 속도를 향상시킨다.
• 제거 실험을 통해 학습 곡선, 아키텍처, 메타데이터 모두가 핵심적임을 확인하였으며, 부분적 또는 길이가 없는 곡선에서도 모델이 강인함을 입증하였다.