[논문 리뷰] Automatic punctuation restoration with BERT models

Attila Nagy, Bence Bial외 1명|arXiv (Cornell University)|2021. 01. 18.

Natural Language Processing Techniques참고 문헌 20인용 수 8

한 줄 요약

이 논문은 ASR 유사 텍스트에 대해 다국어 및 단일 언어 BERT 모델을 미세조정하여 영어와 헝가리어의 자동 문장 부호 복원을 위한 BERT 기반 접근법을 제시한다. 영어(Ted Talks)에서 매크로 F1 스코어 79.8, 헝가리어(Szeged Treebank)에서 82.2를 기록하였으며, 후자는 헝가리어에 대해 BERT 기반으로 설계된 첫 번째 시스템이다. 트리뱅크 데이터 증강과 토큰 별 앙상블 예측을 통해 성능을 향상시켰다.

ABSTRACT

We present an approach for automatic punctuation restoration with BERT models for English and Hungarian. For English, we conduct our experiments on Ted Talks, a commonly used benchmark for punctuation restoration, while for Hungarian we evaluate our models on the Szeged Treebank dataset. Our best models achieve a macro-averaged $F_1$-score of 79.8 in English and 82.2 in Hungarian. Our code is publicly available.

연구 동기 및 목표

• IWSLT 2012 Ted Talks 데이터셋을 기반으로 미세조정된 BERT 모델을 사용하여 영어의 신경망 기반 문장 부호 복원 시스템을 개발한다.
• Szeged Treebank를 ASR 유사 형식으로 변환하여 훈련용 데이터로 활용함으로써, 자원이 적은 언어인 헝가리어로 이 접근법을 확장한다.
• 다국어 및 단일 언어 BERT 변종, 특히 HuBERT가 헝가리어의 문장 부호 복원에서 어떻게 성능을 내는지 평가한다.
• 앙성 추론을 통해 토큰 별 다중 예측이 모델 성능에 미치는 영향을 조사한다.
• 재현 가능성과 향후 자동 문장 부호 복원 연구를 위해 공개된 코드베이스를 구축한다.

제안 방법

• 문장 부호 복원 작업은 네 가지 클래스인 EMPTY, COMMA, PERIOD, QUESTION로 구성된 시퀀스 레이블링 문제로 설정되며, 희귀 부호는 제외된다.
• 전처리 과정은 소문자 변환, 쉼표 앞 공백 제거, 그리고 특정 부호(예: 느낌표를 마침표로, двоеточие를 쉼표로) 변환을 포함하여 대상 클래스와 일치시킨다.
• 영어 및 헝가리어에 대해 BERT-base uncased, BERT-base cased, mBERT, HuBERT를 사용하며, 각각의 데이터셋에서 미세조정한다.
• 각 토큰에 대해 다중 예측을 생성하고 이를 집계하여, 특히 모호하거나 신뢰도가 낮은 토큰의 경우 정확도와 F1 스코어를 향상시킨다.
• 헝가리어의 훈련 데이터는 문장 부호 제거 및 공백 정규화를 통해 ASR 출력을 시뮬레이션함으로써 Szeged Treebank에서 유도된다.
• 모델 선택은 검증 손실과 매크로 F1 스코어를 기반으로 하며, 최종 평가는 최고 성능을 보인 체크포인트를 사용하여 테스트 세트에서 수행된다.

실험 결과

연구 질문

• RQ1 IWSLT Ted Talks 벤치마크를 사용하여 미세조정된 BERT 모델이 영어의 자동 문장 부호 복원에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 자원이 적은 언어인 헝가리어에 대해, 동일한 BERT 기반 접근법이 성공적으로 적용될 수 있는가? (이미 존재하는 문장 부호 복원 벤치마크가 없는 상황에서)
• RQ3 다국어, 단일 언어, 케이스 대/소문자 버전의 다양한 BERT 변종이 양 언어에서 문장 부호 복원 성능에 어떻게 영향을 미치는가?
• RQ4 토큰 별 다중 예측을 사용할 경우, 매크로 F1 스코어에 유의미한 향상이 이루어지는가?
• RQ5 전처리 및 레이블 변환 전략이 모델 성능에 미치는 영향은 무엇인가? 특히 희귀 문장 부호 처리에 있어.

주요 결과

• 영어 Ted Talks 데이터셋에서 가장 뛰어난 성능을 보인 모델은 BERT-base-uncased를 사용하여 토큰당 64개의 예측을 생성했으며, 매크로 F1 스코어 79.8을 기록하여 최신 기술 수준의 성능을 달성했다.
• 헝가리어에서는 HuBERT 모델이 매크로 F1 스코어 82.2를 기록하여, 가장 뛰어난 다국어 BERT 변종(66.0 F1)보다 12.2 점 이상 높은 성능을 보였다.
• 톆크 별 다중 예측을 사용함으로써 영어에서는 매크로 F1 스코어가 5%p 향상되었고, 헝가리어에서는 2.4%p 향상되어 앙상블 추론의 유용성을 입증했다.
• 양 언어에서 소문자 BERT 변종이 대문자 버전보다 뛰어난 성능을 보였으며, 이는 마침표 예측에 대한 편향을 줄이기 위한 소문자 전처리의 영향 때문일 것이다.
• Szeged Treebank가 성공적으로 ASR 유사 형식으로 변환되어, 헝가리어 문장 부호 복원을 위한 BERT 모델의 효과적 미세조정이 가능해졌다.
• 본 연구는 헝가리어에 대해 BERT 기반 문장 부호 복원 시스템을 처음으로 제시하였으며, 공개된 코드와 모델을 함께 제공한다.