[論文レビュー] BigGreen at SemEval-2021 Task 1: Lexical Complexity Prediction with Assembly Models

Aadil Islam, Weicheng Ma+1 more|arXiv (Cornell University)|Apr 19, 2021

Text Readability and Simplification参考文献 38被引用数 3

ひとこと要約

本論文は、SemEval-2021 タスク1への BigGreen の提出を提示し、語彙的複雑さ予測のためのアンサンブルモデルを提案する。このモデルは、手作業で設計された言語的特徴と BERT を用いた深層学習を組み合わせるもので、語彙的・意味的・構文的・音声的測定値を含む特徴工学を実施。XGBoost と MT-DNN を併用することで、極端な複雑さのケース（特に非常に簡単または非常に難しい語）において優れた性能を発揮。また、単語単位のモデル予測を活用することで、複合語表現の予測性能も向上した。

ABSTRACT

This paper describes a system submitted by team BigGreen to LCP 2021 for predicting the lexical complexity of English words in a given context. We assemble a feature engineering-based model with a deep neural network model founded on BERT. While BERT itself performs competitively, our feature engineering-based model helps in extreme cases, eg. separating instances of easy and neutral difficulty. Our handcrafted features comprise a breadth of lexical, semantic, syntactic, and novel phonological measures. Visualizations of BERT attention maps offer insight into potential features that Transformers models may learn when fine-tuned for lexical complexity prediction. Our ensembled predictions score reasonably well for the single word subtask, and we demonstrate how they can be harnessed to perform well on the multi word expression subtask too.

研究の動機と目的

• 手作業で選別された言語的特徴と深層ニューラルネットワークを組み合わせることで、語彙的複雑さ予測の性能を向上させること。
• 二値分類の限界を克服し、複雑さを連続的スケールでモデル化すること。
• 特徴工学を用いて極端な複雑さのケース（例：非常に簡単または非常に難しい語）の性能を向上させること。
• 構成語の予測結果を活用することで、単語単位のモデルを複合語表現の予測に適応させること。
• BERT の注目機構を分析し、複雑さ予測に学習される言語的パターンを理解すること。

提案手法

• 本システムはハイブリッドアプローチを採用：語彙的頻度、意味的埋め込み（GloVe、ELMo）、および新しい音声的測定値を含む、合計110個の手作業で設計された特徴を用いた回帰モデル。
• シーケンスレベルの複雑さ回帰のため、BERT を用いた MT-DNN モデルを微調整し、注目マップを抽出して注目パターンを分析。
• XGBoost を用いて特徴ベースの回帰モデルを訓練し、グリッドサーチによるハイパーパramータチューニングを実施。
• XGBoost と MT-DNN の出力を統合することでアンサンブル予測を生成し、モデルのロバスト性と性能を向上。
• 複合語表現の予測では、頭語と末尾語に単語単位のモデルを別々に適用し、MT-DNN の出力と統合することで性能を向上。
• 語彙的頻度と平均注目度の間の注目ヘッド相関を計算し、BERT における特定の注目パターン（希少語・頻出語の処理）を同定。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み埋め込みを超えて、手作業で設計された言語的特徴が語彙的複雑さ予測にどのように寄与するか。
• RQ2 BERT の注目ヘッドは、どれほど希少語や頻出語に特化して注目するか。これは複雑さ予測とどのように関連するか。
• RQ3 構成語の分析を通じて、単語単位のモデルの予測結果を複合語表現の予測に効果的に転送できるか。
• RQ4 特徴ベースのモデルと深層ニューラルネットワークのアンサンブル学習が、連続的複雑さ回帰の性能をどのように向上させるか。
• RQ5 語彙的頻度は人間の認識とモデルの注目機構の両方において果たす役割は何か。また、注目パターンにどのように反映されるか。

主な発見

• XGBoost と MT-DNN のアンサンブルは、単語単位サブタスクでピアソン相関係数 0.744 を達成し、提出物の上位15％に位置した。
• XGBoost モデルにおいて、語彙的頻度に基づく特徴が最も重要であることが判明し、複雑さ推定における主導的役割を果たしている。
• 複数の BERT 注目ヘッドで、語彙的頻度と注目分布との間に顕著な相関が観察され、希少語や頻出語の処理に特化した注目パターンが存在することが示唆された。
• 構成語の予測に単語単位モデルの予測結果を活用することで、システムは元の提出物よりも複合語表現サブタスクで優れた性能を発揮した。
• 注目マップの可視化により、垂直ストライプのような構造的なパターンが観察され、注目が語彙的頻度に応じたトークンのスケールに沿って分散していることが示された。
• 本研究は、語彙的頻度が人間のアノテーターと学習済みモデルの両方において、語彙的複雑さ予測の根本的信号のままであることを確認した。