[論文レビュー] ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model

Zhengjie Huang, Shikun Feng+6 more|arXiv (Cornell University)|Sep 8, 2020

Natural Language Processing Techniques参考文献 10被引用数 8

ひとこと要約

この論文は、視覚的メディアデザインのための短いテキストにおける強調語の選定を目的としたSemEval-2020 Task 10で最高のスコアを記録したシステムを提示している。事前学習された言語モデル、特にERNIE 2.0を活用し、ポイントワイズMSEとペairワイズ順序付け損失のハイブリッド損失関数、語彙的特徴（初期大文字、ハッシュタグの有無）、データ拡張を組み合わせることで、最先端のスコア0.823を達成し、全指標で1位となった。

ABSTRACT

This paper describes the system designed by ERNIE Team which achieved the first place in SemEval-2020 Task 10: Emphasis Selection For Written Text in Visual Media. Given a sentence, we are asked to find out the most important words as the suggestion for automated design. We leverage the unsupervised pre-training model and finetune these models on our task. After our investigation, we found that the following models achieved an excellent performance in this task: ERNIE 2.0, XLM-ROBERTA, ROBERTA and ALBERT. We combine a pointwise regression loss and a pairwise ranking loss which is more close to the final M atchm metric to finetune our models. And we also find that additional feature engineering and data augmentation can help improve the performance. Our best model achieves the highest score of 0.823 and ranks first for all kinds of metrics

研究の動機と目的

• 視覚的メディアデザインのための短い文章テキストにおける最も重要な語を自動的に選択する手法の開発。
• アノテーターの基準が不一致であるなど、限られたクラウドソーシングによるアノテーションデータの課題に対処する。
• 事前学習された言語モデルとタスク固有のファインチューニング戦略を用いて、強調語選択のパフォーマンスを向上させること。
• 低リソース環境における補助特徴量とデータ拡張の有効性を調査すること。

提案手法

• 順序付きラベル付けフレームワークを用いて、強調語選択タスクに事前学習済み言語モデル（ERNIE 2.0、XLM-ROBERTA、RoBERTa、ALBERT）をファインチューニングする。
• 最終的なMatch_m評価指標に整合するように、平均二乗誤差（MSE）を用いたポイントワイズ回帰とペアワイズ順序付け損失を組み合わせたハイブリッド損失関数を適用する。
• 視覚的強調の手がかりを明示的にモデルが認識できるように、大文字の使用状況やハッシュタグの有無といった語彙的特徴を0-1ベクトルとして統合する。
• 小規模なトレーニングデータセットにおける過学習を軽減するために、ランダムな単語削除（1%）、ランダムな大文字変換（5%）、文の逆順（10%）を用いたデータ拡張を実施する。
• 小規模データセットに起因する高い分散を考慮し、8分割交差検証を実施し、各分割で5回のランダム実行を繰り返して安定したパフォーマンス評価を確保する。
• 最終出力として、最もパフォーマンスの良い設定をアンサンブル化することで、耐性を高め、スコアを最大化する。

実験結果

リサーチクエスチョン

• RQ1 低リソースな視覚的メディア向け強調語選択タスクにおいて、事前学習された言語モデルはどの程度有効であるか？
• RQ2 標準的な回帰損失と比較して、ペアワイズ順序付け損失はMatch_m評価指標に適合する上で効果的か？
• RQ3 明示的な語彙的特徴（例：大文字、ハッシュタグ）は、強調語予測のパフォーマンス向上に寄与するか？
• RQ4 データ拡張は、小規模なクラウドソーシングデータセットにおける過学習をどの程度軽減できるか？

主な発見

• ERNIE 2.0-Largeは8分割交差検証において平均順位スコア0.7810を記録し、XLM-ROBERTA-Large、RoBERTa-Large、ALBERT-XXLarge-v2を上回る最高のパフォーマンスを示した。
• ペアワイズ順序付け損失は平均スコアで-0.00544の低下を示したが、一部のケースではスコア向上を達成した。
• 語彙的特徴は最も一貫性のある改善をもたらし、平均で+0.00105のスコア向上を示し、最大で+0.00709の向上を記録した。
• データ拡張は過学習を軽減し、平均で-0.00144のスコア向上をもたらしたが、モデルごとの影響はばらつきが見られた。
• 最終的なアンサンブルモデルは、SemEval-2020 Task 10コンペティションで全評価指標で1位を獲得し、最高スコア0.823を達成した。