[논문 리뷰] Quantifying contribution and propagation of error from computational steps, algorithms and hyperparameter choices in image classification pipelines

Aritra Chowdhury, Malik Magdon‐Ismail외 1명|arXiv (Cornell University)|2019. 02. 21.

Machine Learning and Data Classification참고 문헌 27인용 수 4

한 줄 요약

이 논문은 무지성 및 단순 기준 기반의 평가 방법을 사용하여 이미지 분류 파이프라인 내 오차 기여도와 전파를 정량화하는 새로운 프레임워크를 제안한다. 실험 결과 랜덤 서치가 오차 기여도와 전파를 정확하게 추정하는 데서 베이지안 최적화보다 뛰어나며, 이는 데이터 과학자가 파이프라인의 핵심 구성 요소를 식별하고 집중적으로 개선하는 데 도움이 된다.

ABSTRACT

Data science relies on pipelines that are organized in the form of interdependent computational steps. Each step consists of various candidate algorithms that maybe used for performing a particular function. Each algorithm consists of several hyperparameters. Algorithms and hyperparameters must be optimized as a whole to produce the best performance. Typical machine learning pipelines consist of complex algorithms in each of the steps. Not only is the selection process combinatorial, but it is also important to interpret and understand the pipelines. We propose a method to quantify the importance of different components in the pipeline, by computing an error contribution relative to an agnostic choice of computational steps, algorithms and hyperparameters. We also propose a methodology to quantify the propagation of error from individual components of the pipeline with the help of a naive set of benchmark algorithms not involved in the pipeline. We demonstrate our methodology on image classification pipelines. The agnostic and naive methodologies quantify the error contribution and propagation respectively from the computational steps, algorithms and hyperparameters in the image classification pipeline. We show that algorithm selection and hyperparameter optimization methods like grid search, random search and Bayesian optimization can be used to quantify the error contribution and propagation, and that random search is able to quantify them more accurately than Bayesian optimization. This methodology can be used by domain experts to understand machine learning and data analysis pipelines in terms of their individual components, which can help in prioritizing different components of the pipeline.

연구 동기 및 목표

• 이미지 분류 파이프라인의 전체 오차에 기여하는 개별 구성 요소(계산 단계, 알고리즘, 하이퍼파라미터)의 기여도를 체계적이고 해석 가능한 방식으로 정량화하는 방법을 개발하는 것.
• 특히 초기 단계에서 후속 단계로 오차가 어떻게 전파되는지 분석할 수 있는 프레임워크를 구축하는 것.
• 그리드 서치, 랜덤 서치, 베이지안 최적화와 같은 최적화 전략의 오차 기여도 및 전파 추정 능력을 평가하고 비교하는 것.
• 오차 생성 및 전파에 가장 영향을 미치는 구성 요소를 식별하여 도메인 전문가가 파이프라인 성능에 대해 이해하기 쉬운 통찰을 확보할 수 있도록 하는 것.

제안 방법

• 각 구성 요소(단계, 알고리즘, 하이퍼파라미터)를 무작위 또는 기본값으로 대체하여 성능 저하를 측정함으로써 오차 기여도를 계산하는 '무지성 방법론'을 제안한다.
• 파이프라인에 포함되지 않은 벤치마크 알고리즘을 사용하여 각 구성 요소에서 후행 단계로 오차가 어떻게 전파되는지를 모델링하는 '단순 방법론'을 도입한다.
• 하이퍼파라미터 공간을 탐색하고 오차 기여도를 추정하기 위해 그리드 서치, 랜덤 서치, 베이지안 최적화를 최적화 엔진으로 활용한다.
• 각 파이프라인 단계에서의 오차를 정량화하기 위해 교차 엔트로피 손실과 정확도를 평가 지표로 사용한다.
• 다양한 최적화 방법 간의 오차 기여도 및 전파 추정치를 비교하여 그 신뢰성과 효율성을 평가한다.
• 실제 데이터셋과 표준 모델을 사용하여 이미지 분류 파이프라인에 프레임워크를 적용하고 접근 방식의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 계산 단계, 알고리즘, 하이퍼파라미터와 같은 개별 구성 요소가 전체 파이프라인 오차에 기여하는 정도를 체계적이고 해석 가능한 방식으로 어떻게 정량화할 수 있는가?
• RQ2 특히 특징 추출과 같은 초기 단계에서 분류와 같은 후속 단계로 오차가 얼마나 전파되는가?
• RQ3 그리드 서치, 랜덤 서치, 베이지안 최적화와 같은 다양한 하이퍼파라미터 최적화 전략은 오차 기여도 및 전파 추정 능력에서 어떻게 상호 비교될 수 있는가?
• RQ4 랜덤 서치는 오차 기여도 및 전파 추정에서 그리드 서치의 신뢰할 수 있는 대체 수단이 될 수 있는가?
• RQ5 일반적인 이미지 분류 파이프라인에서 다양한 구성 요소 간의 오차 기여도 및 전파 값은 어떤 상관관계를 가지는가?

주요 결과

• 랜덤 서치는 하이퍼파라미터 공간의 더 넓은 영역을 샘플링할 수 있는 능력 덕분에 베이지안 최적화보다 오차 기여도 추정이 더 정확하다.
• 오차 전파 분석 결과 대부분의 오차는 특징 추출 알고리즘에서 기인하며, 그 다음으로 특징 변환 단계에서 기인함을 확인하여 초기 단계의 구성 요소가 오차의 주요 원천임을 규명했다.
• 오차 전파 값은 오차 기여도 값과 비례함을 확인하여, 제안된 오차 흐름 모델의 일관성을 검증했다.
• 랜덤 서치는 오차 기여도 및 전파 추정에서 그리드 서치의 효과적인 대체 수단으로 기능할 수 있으며, 더 빠르고 동일한 정도의 신뢰성을 제공한다.
• 베이지안 최적화의 순차적이고 탐욕적인 성격으로 인해 탐색 범위가 제한되고 편향된 추정치를 초래함으로써 오차 기여도 추정에서 성능이 열등하다.
• 무지성 및 단순 방법론은 도메인 전문가가 파이프라인 동작을 해석하고 오차 생성 및 전파에 가장 영향을 미치는 구성 요소를 우선순위 정렬하여 파이프라인의 효율성과 성능을 향상시킬 수 있도록 한다.