[논문 리뷰] Acronym recognition and processing in 22 languages

Maud Ehrmann, Leo della Rocca외 2명|arXiv (Cornell University)|2013. 09. 24.

Biomedical Text Mining and Ontologies참고 문헌 15인용 수 8

한 줄 요약

이 논문은 22개 언어에서 일반 뉴스 텍스트 도메인으로 의료 분야 패턴을 적응시켜 다국어 약어 인식 및 처리 시스템을 제시한다. '국제통화기금(IMF)'와 같은 약어 패턴을 탐지하기 위한 방법과 동일한 약어를 가리키는 여러 장문형 변형을 통합된 실체 표현으로 자동 클러스터링하는 방법을 도입하여, 다양한 언어적 구조에 걸쳐 높은 성능을 달성하였으며 약어 분포에 대한 광범위한 통계 분석을 수행하였다.

ABSTRACT

We are presenting work on recognising acronyms of the form Long-Form (Short-Form) such as "International Monetary Fund (IMF)" in millions of news articles in twenty-two languages, as part of our more general effort to recognise entities and their variants in news text and to use them for the automatic analysis of the news, including the linking of related news across languages. We show how the acronym recognition patterns, initially developed for medical terms, needed to be adapted to the more general news domain and we present evaluation results. We describe our effort to automatically merge the numerous long-form variants referring to the same short-form, while keeping non-related long-forms separate. Finally, we provide extensive statistics on the frequency and the distribution of short-form/long-form pairs across languages.

연구 동기 및 목표

• 뉴스 텍스트에서 22개 언어의 '장문형(약어형)' 형식의 약어를 인식하기 위한 확장 가능한 시스템을 개발하는 것.
• 초기에는 의료 용어에 맞게 설계된 약어 인식 패턴을 더 넓고 다양한 일반 뉴스 기사 도메인으로 적응시키는 것.
• 동일한 약어형을 가리키는 여러 장문형 변형을 통합된 표준 표현으로 자동으로 그룹화하면서도, 상호 대체 불가능한 장문형은 유지하는 것.
• 다국어 간 뉴스 분석을 지원하기 위해 언어 간 약어 빈도 및 분포에 대한 종합적인 통계를 제공하는 것.

제안 방법

• 의료 용어에 대해 기존에 개발된 약어 인식 패턴을 언어학적 및 통계적 분석을 통해 일반 뉴스 도메인으로 적응시키는 것.
• 규칙 기반 및 패턴 매칭 기법을 적용하여 '장문형(약어형)'과 같은 일반적인 약어 형식을 22개 언어 전반에서 탐지하는 것.
• 문자열 유사도 및 클러스터링 히ュ리스틱을 사용하여 동일한 약어형에 해당하는 여러 장문형 변형을 각각의 약어형에 대해 단일 표준 표현으로 통합하는 것.
• 언어별 히ュ리스틱 및 형태소 분석을 활용하여 단어 순서, 대문자 사용, 문장 부호 등 언어 간 변형을 처리하는 것.
• 다양한 언어에서 정밀도, 재현율, F1 스코어를 측정하기 위해 수작업으로 주석 처리된 테스트 세트를 사용한 평가.
• 빈도, 분포, 다국어 패턴을 포함한 약어 쌍에 대한 대규모 통계 수집 및 분석.

실험 결과

연구 질문

• RQ1 의료 도메인에서 유래한 약어 인식 패턴을 22개 언어의 일반 뉴스 텍스트에서 더 다양하고 비공식적인 구조에 효과적으로 적응시킬 수 있는가?
• RQ2 다국어 뉴스 코퍼스에서 장문형과 약어형 약어 쌍을 정확하게 식별하는 데에 어떤 기법이 유용한가?
• RQ3 동일한 약어를 가리키는 여러 장문형 변형을 자동으로 하나의 표준 엔티티로 통합하면서 잘못된 일치(false positive)를 방지할 수 있는가?
• RQ4 다양한 언어 간 약어 쌍의 빈도 및 동시 발생 빈도 측면에서 통계적 분포는 어떠한가?

주요 결과

• 적응된 약어 인식 시스템은 22개 언어 전반에서 높은 성능을 보이며 뉴스 도메인 내 언어적 다양성에 뛰어난 내성성을 입증하였다.
• 유사한 의미를 지닌 장문형 변형을 통합된 표현으로 클러스터링하여 장문형 변형의 중복을 성공적으로 감소시켰다.
• 언어 간 약어 빈도 및 분포에 상당한 차이가 관찰되었으며, 일부 언어는 다른 언어보다 약어 사용 비율이 높았다.
• 시스템은 다국어 적용 가능성을 입증하여 엔티티 연결 및 다국어 뉴스 분석을 지원하였다.
• 광범위한 통계 분석을 통해 전체 약어 발생의 대부분을 차지하는 소수의 약어가 존재함을 확인하였으며, 이는 장꼬리 분포(long-tail distribution)를 시사하였다.