[논문 리뷰] Finnish Paraphrase Corpus

Jenna Kanerva, Filip Ginter외 8명|arXiv (Cornell University)|2021. 03. 24.

Natural Language Processing Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 53,572组의 대체 자막과 뉴스 헤드라인에서 유래한 의미적으로 타당한 대체어를 포함한 첫 번째 완전한 수작업으로 작성된 핀란드어 대체어 코퍼스를 소개한다. 이 코퍼스는 문맥적으로 타당한 대체어에 대해 수작업 분류 정확도가 98%에 이를 정도로 높다. 저자들은 자동화된 방법보다 더 길고 어휘적으로 다양성이 높은 대체어를 생성할 수 있는 수작업 기반 후보 선택 방법을 개발하였으며, 이는 핀란드어를 위한 의미 인식 NLP 모델의 고품질 훈련 및 평가를 가능하게 한다.

ABSTRACT

In this paper, we introduce the first fully manually annotated paraphrase corpus for Finnish containing 53,572 paraphrase pairs harvested from alternative subtitles and news headings. Out of all paraphrase pairs in our corpus 98% are manually classified to be paraphrases at least in their given context, if not in all contexts. Additionally, we establish a manual candidate selection method and demonstrate its feasibility in high quality paraphrase selection in terms of both cost and quality.

연구 동기 및 목표

• 의미 인식 NLP 모델의 토닝 및 평가를 지원하기 위해 대규모의 완전한 수작업으로 작성된 핀란드어 대체어 코퍼스를 구축하는 것.
• 기존 자동 대체어 코퍼스가 짧고 어휘적으로 유사한 예제들에 편향되어 있음을 해결하기 위해 수작업 기반 후보 선택 방법을 개발하는 것.
• 핀란드어와 같이 자원이 적은 언어에 대해 고품질의 수작업 검증된 대체어 데이터의 가용성을 향상시키는 것.
• 병역 자막과 뉴스 헤드라인과 같은 병렬 단어장 언어 자료에서 수작업으로 대체어 후보를 선택하는 것의 가능성, 비용, 품질을 평가하는 것.
• 향후 핀란드어 대체어 탐지 및 생성 연구를 위한 기준 모델과 도구를 제공하는 것.

제안 방법

• 의미적으로 동일하지만 어휘적으로 다양성이 높은 표현을 중심으로, 대체 자막과 뉴스 헤드라인에서 수작업으로 대체어 후보를 수집하는 것.
• 자동화된 방법에서 흔히 발생하는 편향을 피하기 위해 수작업 기반 후보 선택 절차를 개발하고 적용하는 것. 특히 더 길고 어휘적 중복도가 낮은 대체어 쌍을 강조하는 것.
• 기본 레이블(대체어, 비대체어 등)과 포함관계 플래그(i, s, 4<, 4>)를 포함한 다중 레이블 레이블링 체계를 구축하여 의미 관계의 미묘한 차이를 포착하는 것.
• 코퍼스에 맞추어 미세조정된 BERT 기반 모델을 사용하여 다중 레이블 분류를 수행하며, 기본 레이블과 플래그에 대해 별도의 예측 헤드를 사용하는 것.
• 모델 성능을 평가하기 위해 클래스별 F-점수, 가중 F-점수, 정확도를 사용하여 인간 평가자 성능과 다수결 기준과 비교하는 것.
• GitHub를 통해 CC-BY-SA 라이선스 하에 코퍼스를 배포하며, 이는 문맥적으로 타당한 대체어 45,663개와 일반화 능력을 향상시키기 위한 7,909개의 재작성된 쌍을 포함한다.

실험 결과

연구 질문

• RQ1 수작업 기반 후보 선택 절차가 자동화된 방법보다 더 높은 품질, 더 긴 길이, 더 높은 어휘 다양성을 가진 대체어 쌍을 생성할 수 있는가?
• RQ2 핀란드어와 같이 자원이 적은 언어에 대해 대규모 수작업 기반 대체어 코퍼스를 작성하는 데 드는 비용과 실현 가능성은 어떠한가?
• RQ3 미세조정된 BERT 모델의 성능이 새로운 핀란드어 대체어 데이터셋에서 인간 평가자와 다수결 기준과 비교해 어떻게 되는가?
• RQ4 포함관계 플래그(i, s, 4<, 4)의 포함이 annotation 체계의 표현력과 유용성을 얼마나 향상시키는가?
• RQ5 제안된 수작업 기반 선택 방법이 어휘적 대체 가능성의 잠재력이 큰 다른 언어나 도메인으로 일반화될 수 있는가?

주요 결과

• 핀란드어 대체어 코퍼스는 53,572개의 수작업으로 분류된 대체어 쌍을 포함하며, 이 중 98%가 주어진 맥락에서 대체어로 확인되었다.
• 수작업 기반 후보 선택 방법은 자동화된 접근 방식보다 더 길고 어휘적 중복도가 낮은 대체어 쌍을 성공적으로 생성하였다.
• 이 코퍼스는 어떤 언어에 대해서도 가장 큰 완전한 수작업으로 작성된 대체어 데이터셋이며, 문맥적으로 타당한 대체어 45,663개와 일반화 능력을 높이기 위한 7,909개의 재작성된 쌍을 포함한다.
• 가장 성능이 뛰어난 BERT 기반 모델은 가중 F-점수 52.2%와 정확도 54.0%를 기록하였으며, 이는 다수결 기준(34.3%)과 인간 평가자 성능(68.7%) 사이의 중간 정도에 위치한다.
• 클래스별 F-점수는 클래스 2의 38.7%에서 클래스 4의 71.7%까지 변동하였으며, 성능는 클래스 빈도와 강하게 상관관계가 있었다.
• annotation 과정에 총 14인월의 노력이 소요되었으며, 이는 자원이 적은 언어에 대해 대규모 수작업 수집의 높은 비용을 보여주지만, 실현 가능성은 입증되었다.