[논문 리뷰] Cynical Selection of Language Model Training Data

Amittai Axelrod|arXiv (Cornell University)|2017. 09. 07.

Topic Modeling참고 문헌 5인용 수 12

한 줄 요약

이 논문은 언어 모델 및 기계 번역 시스템을 위한 최적의 학습 데이터를 선택하기 위해 탐욕적이고 엔트로피 기반의 방법인 '비관적 선택(cynical selection)'을 제안한다. 이는 무어-루이스 교차엔트로피 차이 방법을 개선한 것으로, 문장의 엔트로피 증가량에 따라 동적으로 점수를 매겨 근사 최적의 어휘 커버리지, 자동 정지, 실질적 단위를 보장함으로써 기준 방법 대비 OOV 토큰을 약 80% 감소시킨다.

ABSTRACT

The Moore-Lewis method of "intelligent selection of language model training data" is very effective, cheap, efficient... and also has structural problems. (1) The method defines relevance by playing language models trained on the in-domain and the out-of-domain (or data pool) corpora against each other. This powerful idea-- which we set out to preserve-- treats the two corpora as the opposing ends of a single spectrum. This lack of nuance does not allow for the two corpora to be very similar. In the extreme case where the come from the same distribution, all of the sentences have a Moore-Lewis score of zero, so there is no resulting ranking. (2) The selected sentences are not guaranteed to be able to model the in-domain data, nor to even cover the in-domain data. They are simply well-liked by the in-domain model; this is necessary, but not sufficient. (3) There is no way to tell what is the optimal number of sentences to select, short of picking various thresholds and building the systems. We present a greedy, lazy, approximate, and generally efficient information-theoretic method of accomplishing the same goal using only vocabulary counts. The method has the following properties: (1) Is responsive to the extent to which two corpora differ. (2) Quickly reaches near-optimal vocabulary coverage. (3) Takes into account what has already been selected. (4) Does not involve defining any kind of domain, nor any kind of classifier. (6) Knows approximately when to stop. This method can be used as an inherently-meaningful measure of similarity, as it measures the bits of information to be gained by adding one text to another.

연구 동기 및 목표

• 도메인 내 및 도메인 외 코퍼스가 너무 유사할 경우 실패하는 무어-루이스 교차엔트로피 차이 방법의 한계를 해결하기 위해.
• 코퍼스 간 차이에 민감하게 반응하고 도메인 정의나 분류기 의존을 피하며, 실질적 단위(엔트로피 변화 비트 수)로 작동하는 데이터 선택 방법을 개발하기 위해.
• 최적의 어휘 커버리지와 OOV 토큰 최소화를 동시에 달성하는 자동적이고 효율적이며 확장 가능한 학습 데이터 선택을 가능하게 하기 위해.
• 데이터 크기 등에 대한 초모수 조정(예: 그리드 서치)이 필요 없도록, 엔트로피 증가량에 기반해 최적의 정지 지점을 자동으로 결정하기 위해.

제안 방법

• 선택된 문장이 학습 세트에 추가될 때 도메인 내 코퍼스의 엔트로피 감소를 최대화하는 방식으로 문장을 단계적으로 선택한다.
• 각 문장이 엔트로피 감소에서의 마진 기여도로 점수 매기기 때문에, 점점 더 많은 데이터가 선택될수록 수익 감소가 발생하는 탐욕적이고 서브모듈러(arbitrary) 선택 과정을 사용한다.
• 알고리즘은 엔트로피 변화의 누적 추정치를 유지하며, 다음 문장에 대한 기대 수익이 (그리고 계속해서) 양수가 되면 정지를 수행한다.
• 중복 처리를 위해 각 문장을 단어 기준으로 한 번만 유일하게 선택함으로써, 중복 포함을 방지하면서도 어휘 다양성을 유지한다.
• 별도의 언어 모델을 훈련하거나 도메인 경계를 정의할 필요 없이, 각 후보 문장을 추가하기 전과 후의 대표 코퍼스 엔트로피를 직접 비교한다.
• 엔트로피 증가량을 기반으로 한 특징 함수를 사용하며, 이는 해석 가능하고 단위 일관성(비트 단위)을 가지므로 다양한 시스템 간 비교가 가능하다.

실험 결과

연구 질문

• RQ1 초모수 조정(예: 데이터 크기 그리드 서치) 없이도 자동으로 데이터 선택을 멈출 수 있는 데이터 선택 방법을 설계할 수 있는가?
• RQ2 도메인 내 및 도메인 외 코퍼스가 유사할 경우에도 실제로 그 차이 정도에 민감하게 반응하는 데이터 선택 방법은 어떻게 설계할 수 있는가?
• RQ3 도메인 특화 분류기나 레이블 데이터에 의존하지 않고도 근사 최적의 어휘 커버리지와 최소한의 OOV 토큰을 달성할 수 있는가?
• RQ4 실질적이고 해석 가능한 단위(예: 엔트로피 비트 수)를 가진 데이터 선택 방법을 정의할 수 있는가? 이는 다양한 시스템 및 작업 간 비교가 가능해야 한다.
• RQ5 탐욕적이고 엔트로피 기반의 선택 전략이 서브모듈러성을 만족함으로써 근사 최적성에 대한 이론적 보장을 받을 수 있는가?

주요 결과

• 비관적 선택 방법은 무어-루이스 교차엔트로피 차이 방법 대비 약 80%의 OOV 토큰 감소를 달성한다.
• 선택 과정의 초기 단계에서 근사 최적의 어휘 커버리지를 달성하며, 주로 대표 코퍼스 내의 고유 단어를 최소 한 번 이상 선택함으로써 이루어진다.
• 알고리즘은 다음 문장에 대한 마진 엔트로피 증가량이 (그리고 계속해서) 양수가 되는 순간을 감지함으로써 최적의 정지 지점을 자동으로 결정한다.
• 이 방법은 본질적으로 서브모듈러라서, 선택된 문장이 많아질수록 문장을 추가할 때의 이점이 감소함을 의미하며, 이는 이론적 효율성을 보장한다.
• 유의미한 점수는 실질적 단위(엔트로피 변화 비트 수)로 표현되어, 다양한 모델, 시스템, 언어 쌍 간 직접 비교가 가능하다.
• 이 방법은 도메인 정의, 데이터 레이블링, 보조 모델 훈련이 필요 없어 광범위하게 적용 가능하고 계산적으로 효율적이다.