[논문 리뷰] CoTK: An Open-Source Toolkit for Fast Development and Fair Evaluation of Text Generation

Fei Huang, Dazhen Wan외 6명|arXiv (Cornell University)|2020. 02. 03.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

CoTK는 데이터 처리, 메트릭 구현 및 실험 설정의 표준화를 통해 텍스트 생성 모델 개발을 가속화하고 공정하고 재현 가능한 평가를 보장하기 위해 설계된 오픈소스 파이썬 툴킷입니다. 이는 다양한 설정 간의 부당한 비교를 탐지하고 경고하기 위해 고유한 해시 코드를 유일하게 사용함으로써 모델 및 데이터셋 간 신뢰할 수 있는 벤치마킹을 가능하게 합니다.

ABSTRACT

In text generation evaluation, many practical issues, such as inconsistent experimental settings and metric implementations, are often ignored but lead to unfair evaluation and untenable conclusions. We present CoTK, an open-source toolkit aiming to support fast development and fair evaluation of text generation. In model development, CoTK helps handle the cumbersome issues, such as data processing, metric implementation, and reproduction. It standardizes the development steps and reduces human errors which may lead to inconsistent experimental settings. In model evaluation, CoTK provides implementation for many commonly used metrics and benchmark models across different experimental settings. As a unique feature, CoTK can signify when and which metric cannot be fairly compared. We demonstrate that it is convenient to use CoTK for model development and evaluation, particularly across different experimental settings.

연구 동기 및 목표

• 텍스트 생성 평가에서 발생하는 실험 설정 및 메트릭 구현의 이질성으로 인해 발생하는 부당한 비교와 재현 불가능한 결과를 해결합니다.
• 모델 개발 과정에서 데이터 처리, 메트릭 계산, 환경 추적을 자동화하여 연구자 부담을 줄입니다.
• 다른 토크나이저나 어휘 체계를 사용할 경우 메트릭 계산이 상호 비호환 설정에서 이루어지는지를 탐지하고 경고함으로써 공정한 모델 비교를 가능하게 합니다.
• 모델 평가 자료 공유를 지원하기 위해 코드, 결과, 런타임 환경을 자동으로 추적함으로써 재현 가능성과 논문 게재를 촉진합니다.
• 대화 및 요약과 같은 다양한 텍스트 생성 작업을 대상으로 표준화된 데이터 로더, 벤치마크 모델, 메트릭을 제공합니다.

제안 방법

• 파일 읽기, 토크나이제이션, 어휘 구축, 배치 패킹을 구성 가능한 설정으로 통합한 데이터 로더를 구현합니다.
• 일반적으로 사용되는 텍스트 생성 메트릭(BLEU, S-BLEU, F/B/H-BLEU, F/R-PPL, Distinct-2)을 일관되고 문서화된 방식으로 통합합니다.
• 각 평가 설정(예: 토크나이제이션 방법, 어휘 크기 등)에 대해 고유한 해시 코드를 생성하여 설정이 상호 비호환일 경우 비교가 불가능한지를 탐지합니다.
• PyTorch, TensorFlow 등의 주요 딥러닝 프레임워크와 Texar, Fairseq 등의 모델 툴킷과의 호환성을 지원하여 모델 구현의 유연성을 확보합니다.
• 코드, 하이퍼파라미터, 런타임 환경을 자동으로 추적함으로써 논문 게재 및 재현 가능성을 향상시키고, 공동 연구자 간 결과 공유를 지원합니다.
• 개발 및 비교를 가속화하기 위해 사전에 수집된 공개 데이터셋과 벤치마크 모델을 제공합니다.

실험 결과

연구 질문

• RQ1 텍스트 생성 평가에서 실험 설정의 이질성이 어떻게 부당하고 재현 불가능한 비교를 초래할 수 있나요?
• RQ2 표준화된 데이터 처리 및 메트릭 구현은 모델 평가의 재현 가능성과 공정성에 어느 정도 기여할 수 있나요?
• RQ3 해시 기반 시스템은 토크나이제이션 또는 어휘 체계가 다를 경우 평가 결과가 비교 불가능한지를 효과적으로 탐지하고 경고할 수 있나요?
• RQ4 CoTK는 다양한 텍스트 생성 작업에서 모델 개발 및 평가의 효율성과 신뢰성을 어떻게 향상시키나요?
• RQ5 CoTK는 다양한 모델 및 데이터셋 간의 벤치마킹 일관성과 투명성에 어떤 영향을 미치나요?

주요 결과

• CoTK는 비호환 설정을 탐지함으로써 공정한 비교를 가능하게 합니다. 예를 들어, GPT2-ft의 퍼플렉서티 점수(19.30*)는 다른 토크나이제이션 방식으로 인해 비교 불가능함이 표시되지만, BLEU, F/B/H-BLEU 등의 메트릭은 다른 모델 간 비교가 가능합니다.
• EMNLP2017 데이터셋에서 Transformer 모델은 PPL 37.04를 기록하여 GRU(47.74)보다 뛰어나며, 모든 모델에서 일관된 메트릭 구현이 이루어졌습니다.
• OpenSubtitles 데이터셋에서 GPT2-ft는 최고의 BLEU 점수(1.30)와 Distinct-2(0.156)를 기록했지만, 다른 토크나이제이션 방식으로 인해 퍼플렉서티(21.12*)는 비교 불가능합니다.
• 일관된 토크나이제이션 및 메트릭 표준을 적용하면 BLEU, S-BLEU, F/B/H-BLEU, F/R-PPL 결과가 서로 직접 비교 가능해집니다.
• CoTK의 해시 코드 시스템은 어휘나 토크나이제이션 방법이 다를 경우 메트릭 비교가 불가능한지를 성공적으로 식별합니다.
• 이 툴킷은 데이터 처리, 평가, 환경 추적에 소요되는 수작업을 크게 줄여 더 빠르고 신뢰할 수 있는 모델 개발 및 논문 게재를 가능하게 합니다.