[논문 리뷰] Evaluating representations by the complexity of learning low-loss predictors

WILLIAM F. WHITNEY, Min Jae Song외 3명|arXiv (Cornell University)|2020. 09. 15.

Machine Learning and Data Classification참고 문헌 39인용 수 10

한 줄 요약

이 논문은 표현 품질을 평가하기 위해 표현 위에 저손실 예측기 학습의 복잡도를 평가하는 데 두 가지 새로운 측정치—초과 기술 길이(SDL)와 ε 샘플 복잡도(ε SC)—를 제안한다. 기존 방법들과 달리 데이터셋 크기에 의존하지 않고 손실 내성에 초점을 맞추므로 데이터 양에 대해 강건하며 실질적 구현 요구사항과 더 잘 부합된다.

ABSTRACT

We consider the problem of evaluating representations of data for use in solving a downstream task. We propose to measure the quality of a representation by the complexity of learning a predictor on top of the representation that achieves low loss on a task of interest, and introduce two methods, surplus description length (SDL) and $\varepsilon$ sample complexity ($\varepsilon$SC). In contrast to prior methods, which measure the amount of information about the optimal predictor that is present in a specific amount of data, our methods measure the amount of information needed from the data to recover an approximation of the optimal predictor up to a specified tolerance. We present a framework to compare these methods based on plotting the validation loss versus evaluation dataset size (the "loss-data" curve). Existing measures, such as mutual information and minimum description length probes, correspond to slices and integrals along the data axis of the loss-data curve, while ours correspond to slices and integrals along the loss axis. We provide experiments on real data to compare the behavior of each of these methods over datasets of varying size along with a high performance open source library for representation evaluation at https://github.com/willwhitney/reprieve.

연구 동기 및 목표

• 기계학습에서 표현에 대한 강건하고 원리적인 평가 방법의 부족을 해결한다.
• 검증 정확도(VA), 상호정보량(MI), 최소 기술 길이(MDL)와 같은 기존 측정치의 한계를 특정한다. 이들은 평가 데이터셋 크기에 민감하여 결과가 왜곡될 수 있다.
• 손실-데이터 곡선 기반의 새로운 프레임워크를 제안하여 표현 평가 분석을 데이터 크기에서 손실 내성으로 전환한다.
• 저손실 예측기 학습의 진정된 복잡도를 반영하는 측정치를 개발하여 실질적 구현 시나리오와 더 잘 부합시킨다.
• 부족한 데이터로 인한 조기 판단을 피할 수 있는 확장 가능하고 해석 가능한 표현 평가 방법을 제공한다.

제안 방법

• 손실-데이터 곡선을 중심 시각화 도구로 도입하여 검증 손실을 평가 데이터셋 크기의 함수로 그린다.
• 초과 기술 길이(SDL)를 정의한다. 이는 모든 데이터셋 크기에서 목표 ε 내성 이상의 초과 손실을 적분한 값이다.
• ε 샘플 복잡도(ε SC)를 정의한다. 이는 최적 예측기의 손실에서 ε 이내로 도달하기 위해 필요한 최소 데이터셋 크기이다.
• 부트스트랩 샘플링과 다수의 네트워크 초기화를 사용하여 손실-데이터 곡선을 불확실성 추정과 함께 추정한다.
• 예측기 기반의 순차적 코딩과 MDL 원칙을 적용하여 기술 길이 구성요소를 계산함으로써 정보 이론적 기반을 확보한다.
• VA, MI, MDL와의 비교를 위해 손실-데이터 곡선 상에서 손실 축을 따라 자르기와 적분을 수행한다. 이는 데이터 축이 아닌 손실 축을 따라 분석한다.

실험 결과

연구 질문

• RQ1 기존 표현 평가 측정치가 평가 데이터셋 크기에 민감한 이유로 인해 신뢰성이 어떻게 영향을 받는가?
• RQ2 데이터셋 크기에 의존하지 않고 예측기의 손실 내성에 초점을 맞춘 표현 평가 지표를 정의할 수 있는가?
• RQ3 저손실 예측기 학습의 복잡도와 표현 품질 사이의 관계는 무엇인가?
• RQ4 SDL과 ε SC는 VA, MI, MDL와 비교해 강건성과 해석 가능성 측면에서 어떻게 다른가?
• RQ5 SDL과 ε SC는 대규모 실세계 표현 학습 작업에 실제로 적용 가능한가?

주요 결과

• VA와 MDL는 평가 데이터셋 크기에 매우 민감하여 표현 품질에 대한 일관성 없거나 오해의 소지가 있는 결론을 이끌어낼 수 있다.
• 작은 데이터셋에서 평가할 경우 MDL는 가장 낮은 ELMo 레이어를 최고로 평가하지만, 데이터셋 크기가 증가함에 따라 이 순위가 뒤바뀐다.
• SDL과 ε SC는 데이터셋 크기 변화에 대해 강건하며, 일부 표현이 저손실에 도달하기 위해 상당히 많은 데이터가 필요하다는 점을 정확히 식별한다.
• 품사 분류 작업에서 ε SC는 ELMo 레이어 0이 ε=0.1 손실 내성에 도달하기 위해 478,000개 이상의 샘플이 필요하다고 보여주며, 레이어 1은 약 238,000개로 약 절반 수준임을 시사한다. 이는 학습 가능성의 의미 있는 차이를 반영한다.
• SDL과 ε SC는 확장 가능하다. BERT 크기의 작업에서 이 측정치를 평가하는 데 단일 GPU에서 약 1시간이 소요되어 실용적 타당성을 입증한다.
• 손실-데이터 곡선 프레임워크는 기존 측정치(VA, MI, MDL)가 고정된 데이터셋의 성질을 평가하는 데 반해, SDL과 ε SC는 특정 손실 내성의 예측기 성질을 평가한다는 점을 드러내며, 이는 실세계 구현 요구사항과 더 잘 부합된다.