[논문 리뷰] Learning Curves for Decision Making in Supervised Machine Learning: A Survey

Felix Mohr, Jan N. van Rijn|arXiv (Cornell University)|2022. 01. 28.

Machine Learning and Data Classification인용 수 32

한 줄 요약

본 연구는 감독 학습에서 학습 곡선 방법을 프레이밍하고, 의사 결정 상황, 학습 곡선 질문, 데이터 자원에 따라 접근법을 분류하며 관련 문헌을 검토한다.

ABSTRACT

Learning curves are a concept from social sciences that has been adopted in the context of machine learning to assess the performance of a learning algorithm with respect to a certain resource, e.g., the number of training examples or the number of training iterations. Learning curves have important applications in several machine learning contexts, most notably in data acquisition, early stopping of model training, and model selection. For instance, learning curves can be used to model the performance of the combination of an algorithm and its hyperparameter configuration, providing insights into their potential suitability at an early stage and often expediting the algorithm selection process. Various learning curve models have been proposed to use learning curves for decision making. Some of these models answer the binary decision question of whether a given algorithm at a certain budget will outperform a certain reference performance, whereas more complex models predict the entire learning curve of an algorithm. We contribute a framework that categorises learning curve approaches using three criteria: the decision-making situation they address, the intrinsic learning curve question they answer and the type of resources they use. We survey papers from the literature and classify them into this framework.

연구 동기 및 목표

• 감독 학습에서 데이터 수집, 조기 중지 및 모델 선택을 알리기 위해 학습 곡선을 활용하도록 동기를 부여한다.
• 의사 결정 상황, 본질적 학습 곡선 질문, 데이터 자원이라는 세 가지 기준에 따라 학습 곡선 접근법을 분류하는 통합 프레임워크를 제공한다.
• 제안된 프레임워크 내에서 기존 문헌을 조사하고 분류하여 일반적인 방법과 간극을 식별한다.
• 학습 곡선에 대한 경험적, 모수적, 분포 기반 모델과 그 추정 방법을 논의한다.
• 학습 곡선에서 앵커 포인트, 포화, 잘 작동하는 특성 등과 같은 실용적 고려사항을 강조한다.

제안 방법

• 의사 결정 상황, 본질적 학습 곡선 질문, 데이터 자원이라는 세 가지 기준의 학습 곡선 접근법에 대한 분류법을 제안한다.
• 기존 문헌을 조사하고 각 접근법을 분류법 내에 분류한다.
• 학습 곡선의 경험적 추정(예: 홀드아웃, 교차 검증) 및 모형 기반 외삽을 설명한다.
• 학습 곡선을 피팅하는 데 사용되는 모형들, 특히 역 멱법(inverse power-law)과 대안을 논의하고 최적 적합 모형과 예측 모형의 구분을 명확히 한다.
• 의사 결정에 도움이 되도록 앵커 포인트, 포화 포인트, 유용도 기반 중단 포인트와 같은 개념을 개요한다.

실험 결과

연구 질문

• RQ1 학습 곡선 접근법은 의사 결정 상황, 해결되는 질문, 사용된 데이터 자원에 따라 어떻게 분류될 수 있는가?
• RQ2 감독 학습에서 데이터 수집, 조기 중지 및 모델 선택을 위해 학습 곡선을 사용하는 기존 접근법의 현황은 어떤가?
• RQ3 어떤 모형이 학습자와 데이터 세트에 걸쳐 학습 곡선을 가장 잘 적합하거나 예측하는가, 어떤 조건에서인가?
• RQ4 경험적 추정 방법과 모형 선택이 학습 곡선 의사 결정의 신뢰성에 어떤 영향을 미치는가?
• RQ5 실무에서 학습 곡선을 적용하기 위해 필수적인 실용적 개념들(예: 앵커 포인트, 포화, 고원형 구간)은 무엇인가?

주요 결과

• 저자는 의사 결정 상황, 학습 곡선 질문, 데이터 자원이라는 세 가지 기준에 기반한 학습 곡선 접근법의 통합 프레임워크를 제시한다.
• 그들은 조사된 접근법을 포괄적으로 분류하고 그것들이 이진 결정에 어떻게 답을 주거나 전체 학습 곡선을 예측하는지 논의한다.
• 역 멱법(inverse power-law) 모델이 다양한 학습자에 대한 적합에 두드러지게 제시되며, 로그 형태나 지수 형태와 같은 대안 모델도 함께 다루며, 최적 적합과 최적 예측의 적합성에 주의가 필요하다.
• 경험적 학습 곡선은 홀드아웃이나 교차 검증을 통해 계산되며, 반복 기반 곡선은 훈련 반복이나 시간의 함수로 성능을 논의하고 한계 행동에서 차이가 있다.
• 본 연구는 앵커 포인트(s), 포화 포인트(s_sat) 및 해당 성능(p_sat)을 논의하고, 잘 작동하는 곡선(단조롭거나 볼록한)을 개념으로 도입한다.
• 이 논문은 학습 곡선을 의사 결정에서 데이터 수집비용과 훈련 비용을 인정하는 더 넓은 의미의 유틸리티 곡선 개념 안에 위치시킨다.