[論文レビュー] Potential Idiomatic Expression (PIE)-English: Corpus for Classes of Idioms

Tosin Adewumi, Roshanak Vadoodi+4 more|arXiv (Cornell University)|Apr 25, 2021

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、20,174件の英語サンプルと1,197件のイディオム事例を含む、10種類の比喩的言語クラス（比喩、隠喩、婉曲表現、擬人法、逆語性、逆説、誇張、皮肉、類似法、直訳的表現）にわたる大規模かつマルチクラスのアノテート済みデータセット、Potential Idiomatic Expression (PIE)-Englishコーパスを紹介する。このデータセットは、88.89%の高いアノテーター間一致度を達成し、分類タスクにおいても優れた性能を示しており、BERTは93.4%の正確度と94.8%のF1スコアを達成した。これは、自然言語処理におけるトークンベースのイディオム検出を進める上で貴重なリソースである。

ABSTRACT

We present a fairly large, Potential Idiomatic Expression (PIE) dataset for Natural Language Processing (NLP) in English. The challenges with NLP systems with regards to tasks such as Machine Translation (MT), word sense disambiguation (WSD) and information retrieval make it imperative to have a labelled idioms dataset with classes such as it is in this work. To the best of the authors' knowledge, this is the first idioms corpus with classes of idioms beyond the literal and the general idioms classification. In particular, the following classes are labelled in the dataset: metaphor, simile, euphemism, parallelism, personification, oxymoron, paradox, hyperbole, irony and literal. We obtain an overall inter-annotator agreement (IAA) score, between two independent annotators, of 88.89%. Many past efforts have been limited in the corpus size and classes of samples but this dataset contains over 20,100 samples with almost 1,200 cases of idioms (with their meanings) from 10 classes (or senses). The corpus may also be extended by researchers to meet specific needs. The corpus has part of speech (PoS) tagging from the NLTK library. Classification experiments performed on the corpus to obtain a baseline and comparison among three common models, including the BERT model, give good results. We also make publicly available the corpus and the relevant codes for working with it for NLP tasks.

研究の動機と目的

• 自然言語処理分野において、直訳的表現や一般的なイディオム分類を超えた大規模かつマルチクラスのアノテート済みイディオムコーパスが不足しているという問題に対処すること。
• トークンベースのイディオム検出のためのモデル学習および評価に使用可能な高品質で公開可能なコーパスを構築すること。
• 機械翻訳、語義の意味づけの解消、情報検索などのNLPタスクのパフォーマンスを向上させるために、細分化されたイディオム分類を可能にすること。
• 従来のモデル（mNB、SVM）と最先端のBERTを用いたベースラインと比較評価を提供すること。
• 今後のドメイン特化型またはリソースが限られたNLPアプリケーションへのコーパスの拡張を支援すること。

提案手法

• コーパスは英国Nationalコーパス（96.9%）およびUK Web Pages（3.1%）から構築され、10種類の比喩的言語クラスについて手作業でアノテートされた。
• 2名の独立したアノテーター間でのアノテーター間一致度は88.89%であり、ラベル品質の高い一貫性が保証された。
• 自然言語処理ライブラリNLTKを用いて品詞タギングを実施し、コーパスに文法的特徴を付加した。
• クラスの不均衡を是正するため、ストラティファイドな85:15のトレーニング・バリデーション分割を採用した。
• ベースライン比較のため、3つのモデル（多項式ベイズ、線形SVM、BERT）をコーパス上で学習および評価した。
• モデル学習の前処理として、キャップトライアル正規化、HTMLタグの削除、記号・数字のフィルタリングを実施した。

実験結果

リサーチクエスチョン

• RQ1 直訳的表現や一般的なイディオム分類を超えた細分化された分類を含む大規模かつマルチクラスのイディオムコーパスを、現実のNLP文脈で構築可能か？
• RQ2 多様な比喩的言語クラスを含む実世界のNLP文脈において、アノテーター間一致度はどの程度の水準に達するか？
• RQ3 標準的および最先端のモデルが、10種類の異なる比喩的言語クラスに分類する際のパフォーマンスはどの程度か？
• RQ4 クラスの不均衡はモデルパフォーマンスにどの程度影響を及ぼすか？また、データ拡張やモデル設計による是正は可能か？
• RQ5 PIE-Englishコーパスは、今後のトークンベースのイディオム検出および比喩的言語理解分野の研究における信頼できるベースラインとして機能できるか？

主な発見

• PIE-Englishコーパスには20,174件のサンプルと1,197件の異なるイディオム事例が、10種類の比喩的言語クラスに分類されており、その中で比喩が最も頻出（14,666件）。
• アノテーター間一致度スコアは88.89%に達し、アノテーションプロセスにおける強いラベルの一貫性と信頼性を示している。
• BERTは93.4%の正確度と94.8%のF1スコアを達成し、mNB（74.7%の正確度）とSVM（76.6%の正確度）を大きく上回る優れた性能を示した。
• 隠喩（97.5%の正確度）と隠喩的表現（99.6%の正確度）ではほぼ完璧なパフォーマンスを達成したが、誇張、逆語性、皮肉は訓練データが極めて少なかったため、非常に低いパフォーマンスであった。
• 誤差分析の結果、比喩が頻出するトレーニングデータの影響により、比喩が直訳的表現や婉曲表現と誤分類される傾向があり、逆に婉曲表現が比喩と混同されるケースも多かった。
• コーパスはコードとともに公開されており、今後のドメイン特化型やリソースが限られたNLPタスクへの拡張・適応を可能としている。