[논문 리뷰] EPIE Dataset: A Corpus For Possible Idiomatic Expressions

Prateek Saxena, Soma Paul|arXiv (Cornell University)|2020. 06. 16.

Natural Language Processing Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 717개의 관용어 표현을 포함한 25,206개의 영어 문장으로 구성된 대규모, 반자동으로 구축된 EPIE 데이터셋을 소개한다. 이 데이터셋은 정적 및 형식적 유형으로 분류된 어휘적 인스턴스를 포함한다. 이 데이터셋을 통해 BiLSTM-CRF 모델을 사용하여 시퀀스 레이블링을 수행함으로써 관용어 표현 탐지에 높은 정확도를 달성하였으며, 독립 테스트 세트에서 최대 95%의 정밀도와 92%의 재현율을 기록하였다. 이는 자연어 처리 분야에서 은유 및 관용어 탐지 기술의 향상에 기여한다.

ABSTRACT

Idiomatic expressions have always been a bottleneck for language comprehension and natural language understanding, specifically for tasks like Machine Translation(MT). MT systems predominantly produce literal translations of idiomatic expressions as they do not exhibit generic and linguistically deterministic patterns which can be exploited for comprehension of the non-compositional meaning of the expressions. These expressions occur in parallel corpora used for training, but due to the comparatively high occurrences of the constituent words of idiomatic expressions in literal context, the idiomatic meaning gets overpowered by the compositional meaning of the expression. State of the art Metaphor Detection Systems are able to detect non-compositional usage at word level but miss out on idiosyncratic phrasal idiomatic expressions. This creates a dire need for a dataset with a wider coverage and higher occurrence of commonly occurring idiomatic expressions, the spans of which can be used for Metaphor Detection. With this in mind, we present our English Possible Idiomatic Expressions(EPIE) corpus containing 25206 sentences labelled with lexical instances of 717 idiomatic expressions. These spans also cover literal usages for the given set of idiomatic expressions. We also present the utility of our dataset by using it to train a sequence labelling module and testing on three independent datasets with high accuracy, precision and recall scores.

연구 동기 및 목표

• 자연어에서 관용어 표현을 탐지하기 위한 대규모, 고카버리지 데이터셋의 부족 문제를 해결하기 위해.
• 기존 데이터셋이 작고 커버리지가 제한되어 있어 특히 구동어 표현에 대해 한계가 있다는 점을 해결하기 위해.
• 직역적 및 관용적 사용이 모두 포함된 풍부하고 구조화된 데이터셋을 제공함으로써 기계학습 기반의 관용어 표현 탐지 가능성을 높이기 위해.
• 형태구문적 변동으로 인해 다른 탐지 전략이 필요한 정적 및 형식적 관용어를 구분하기 위해.
• 기계 번역 및 은유 탐지와 같은 후행 NLP 작업을 지원하기 위해 관용어 표현 인식 성능 향상을 위해.

제안 방법

• 표면 형태를 기반으로 StringNet을 사용하여 영국 국립 코퍼스(British National Corpus, BNC)에서 후보 관용어 표현을 추출함으로써 데이터셋을 구축함.
• 후보 관용어 표현은 2,000개의 고빈도 영어 관용어를 인도 언어로 매핑하는 IMIL 데이터셋에서 확보함.
• 비어 있는 사용 및 노이즈 패턴을 제거하기 위해 이중 단계의 필터링 프로세스를 적용하여 타당한 관용어 구간을 포함한 문장만 유지함.
• 정적 관용어(정확한 문자열 매칭)와 형식적 관용어(inflected, 수정된 형태)로 데이터셋을 분할하며, 각각 다른 탐지 접근 방식이 필요함.
• 300D GloVe 임베딩을 사용하여 형식적 관용어 서브셋에 대해 BiLSTM-CRF 시퀀스 레이블링 모델을 훈련하고, 세 개의 독립된 데이터셋에서 평가함.
• 모델은 SemEval-2013 Task 5b와 PIE 코퍼스에서 파라미터를 미세조정하고 테스트하며, 모든 사용 사례와 관용적 사용 사례에서 성능을 측정함.

실험 결과

연구 질문

• RQ1 대규모, 반자동으로 구축된 데이터셋이 영어 텍스트에서 관용어 표현 탐지 성능을 향상시킬 수 있는가?
• RQ2 정적 및 형식적 관용어의 구분이 시퀀스 레이블링 모델의 관용어 표현 탐지 성능에 어떤 영향을 미치는가?
• RQ3 EPIE 데이터셋으로 훈련된 모델이 SemEval-2013 및 PIE 코퍼스와 같은 독립적이고 도메인 외부의 데이터셋으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 관용어 표현의 발생 빈도 분포는 데이터셋 내에서 어떻게 분포되어 있으며, 이는 모델 학습에 어떤 영향을 미치는가?
• RQ5 시퀀스 레이블링 접근 방식을 통해 구동어 표현의 직역적 및 관용적 사용 모두에 대해 높은 정밀도와 재현율을 달성할 수 있는가?

주요 결과

• EPIE 데이터셋은 717개의 관용어 표현을 포함한 25,206개의 문장으로 구성되어 있으며, 이 중 21,891개는 정적 관용어를 포함하고 있고, 3,135개는 형식적 관용어를 포함하고 있다.
• EPIE 형식적 관용어 서브셋에 대해 훈련된 모델은 자체 테스트 분할에서 98% 정확도, 95% 정밀도, 91% 재현율을 기록하였다.
• SemEval-2013 "all words" 데이터셋에서, 모델은 모든 사용 사례에 대해 84% 정확도, 90% 정밀도, 85% 재현율을 기록하였고, 관용적 사용 사례에 대해서는 86% 정확도, 93% 정밀도, 86% 재현율을 기록하였다.
• SemEval-2013 "lex sample" 데이터셋에서, 모델은 모든 사용 사례에 대해 89% 정확도와 90% 정밀도를 기록하였고, 관용적 사용 사례에 대해서는 92% 정확도, 95% 정밀도, 92% 재현율을 기록하였다.
• PIE 코퍼스에서는 모든 사용 사례에 대해 69% 정확도와 60% 정밀도를 기록하였지만, 관용적 사용 사례에 대해서는 88% 정확도, 94% 정밀도, 88% 재현율을 기록하였다.
• 형식적 관용어의 평균 발생 수는 8.75이며 표준편차는 8.61로, 지수적 분포에 가까운 경향을 보이며, 정적 관용어는 평균 60.9, 표준편차 160으로 극도로 왜곡된 분포를 보였다.