[논문 리뷰] Debugging Machine Learning Tasks

Aleksandar Chakarov, Aditya V. Nori외 3명|arXiv (Cornell University)|2016. 03. 23.

Machine Learning and Data Classification참고 문헌 19인용 수 24

한 줄 요약

이 논문은 펠의 인과성 이론—특히 충분성 확률(PS) 점수—을 활용하여 기계학습 모델의 오분류 원인인 잘못된 레이블이 부여된 학습 데이터 포인트를 자동으로 식별하는 도구인 Psi를 제안한다. PS 계산을 확률적 프로그램으로 모델링하고 학습 알고리즘의 회색 상자 추상화를 활용하여, 전체 재학습 없이도 오류의 근본 원인을 효율적으로 순위 매길 수 있다. 이는 실제 데이터셋에서 데이터 오류를 성공적으로 디버깅할 수 있음을 보여준다.

ABSTRACT

Unlike traditional programs (such as operating systems or word processors) which have large amounts of code, machine learning tasks use programs with relatively small amounts of code (written in machine learning libraries), but voluminous amounts of data. Just like developers of traditional programs debug errors in their code, developers of machine learning tasks debug and fix errors in their data. However, algorithms and tools for debugging and fixing errors in data are less common, when compared to their counterparts for detecting and fixing errors in code. In this paper, we consider classification tasks where errors in training data lead to misclassifications in test points, and propose an automated method to find the root causes of such misclassifications. Our root cause analysis is based on Pearl's theory of causation, and uses Pearl's PS (Probability of Sufficiency) as a scoring metric. Our implementation, Psi, encodes the computation of PS as a probabilistic program, and uses recent work on probabilistic programs and transformations on probabilistic programs (along with gray-box models of machine learning algorithms) to efficiently compute PS. Psi is able to identify root causes of data errors in interesting data sets.

연구 동기 및 목표

• 모델의 실패 원인이 코드나 하이퍼파라미터가 아닌 학습 데이터 오류에서 기인할 때 증가하는 기계학습 모델 디버깅 과제를 해결하기 위해.
• 테스트 데이터에서의 오분류의 근본 원인을 자동으로 식별하는 방법을 개발하여, 특히 고장 난 학습 인스턴스를 정확히 특정하기 위해.
• 특히 펠의 충분성 확률(PS)을 활용한 반사적 인과성 이론을 적용하여 개별 학습 포인트가 모델 오류에 미치는 인과적 영향을 정량화하기 위해.
• 모든 반사적 레이블 전환에 대해 모델을 재학습하는 데 드는 높은 계산 비용을 해결하기 위해, 회색 상자 추상화와 프로그램 변환 기법을 사용하기 위해.
• 실제 데이터셋에서 흔히 발생하고 감지하기 어려운 학습 데이터 오류에 대해 확장 가능하고 효율적인 근본 원인 분석을 가능하게 하기 위해.

제안 방법

• 확률적 프로그램으로 충분성 확률(PS) 점수 계산을 모델링하여 효율적 추론과 최적화를 가능하게 하기 위해.
• 학습 중 키 인터미디엇 값들을 캡처하는 기계학습 알고리즘의 회색 상자 모델을 사용하여, 전체 재학습 없이도 레이블 전환 후 모델 동작을 신속하게 근사하기 위해.
• 다양한 학습 포인트에 대해 PS 점수 계산을 공유하는 프로그램 변환 기법을 적용하여, 모델 재학습 비용을 여러 포인트에 걸쳐 분산시키기 위해.
• 최근의 확률적 프로그래밍 및 추론 기법을 활용하여, 학습 레이블이 변경된 반사적 세계에서 PS 점수를 효율적으로 계산하기 위해.
• 레이블 변형 상황에서 정확한 모델 재추정을 가능하게 하는 프ofile 데이터 수집을 학습 과정에 통합하기 위해.
• 학습 포인트를 PS 점수 기준으로 순위 매겨 테스트 오분류의 가장 가능성이 높은 근본 원인을 식별하기 위해.

실험 결과

연구 질문

• RQ1 주어진 테스트 포인트에서 모델의 오분류 원인이 되는 가장 가능성이 높은 학습 데이터 포인트는 무엇인가?
• RQ2 모든 반사적 상황에서 전체 모델 재학습을 수행하지 않고도, 각 학습 포인트에 대한 충분성 확률(PS) 점수를 효율적으로 계산할 수 있는가?
• RQ3 기계학습 알고리즘의 회색 상자 추상화를 사용하여, 근본 원인 분석에 충분한 정확도로 레이블 변형 상황에서의 모델 동작을 근사할 수 있는가?
• RQ4 프로그램 변환 및 확률적 프로그래밍 기법을 통해, 여러 학습 포인트에 걸쳐 PS 계산의 계산 비용을 얼마나 줄일 수 있는가?
• RQ5 이 방법은 수천 개의 학습 포인트를 포함한 실제 데이터셋에 대해 확장 가능할 수 있으며, 모델 실패를 유발하는 의미 있는 데이터 오류를 탐지할 수 있는가?

주요 결과

• Psi는 실제 데이터셋에서 모델 오분류의 근본 원인이 되는 잘못된 레이블이 부여된 학습 인스턴스를 성공적으로 식별하여 실용적 적용 가능성을 입증했다.
• 회색 상자 모델의 사용은 레이블 전환 후 모델 동작을 정확하게 근사함으로써, 고비용의 전체 재학습이 필요한 경우를 줄였다.
• PS 계산을 확률적 프로그램으로 모델링함으로써, 여러 학습 포인트 간 중간 계산을 효율적으로 재사용하고 추론을 빠르게 할 수 있었다.
• 공유된 계산과 프로그램 변환 기법 덕분에 성능 향상이 크게 이루어져, PS 기반의 근본 원인 분석이 확장 가능해졌다.
• Psi는 수천 개의 포인트를 포함한 데이터셋에서 데이터 오류를 디버깅할 수 있었으며, 현재 산업 규모 데이터에 대한 확장성에 한계가 있음에도 불구하고 실질적 도입에 대한 잠재력을 보였다.