[論文レビュー] The Inception Team at NSURL-2019 Task 8: Semantic Question Similarity in Arabic

Hana' Al-Theiabat, Aisha Al-Sadi|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 20被引用数 6

ひとこと要約

この論文は、複数のランダムシードを用いてロバスト性を向上させる微調整済み多言語 BERT を用いた、アラビア語における意味的質問類似度のための BERT ベースのアンサンブルモデルを提示する。最良のアンサンブルは、NSURL-2019 タスク 8 競争で 9 チーム中 1 位を獲得し、F1 スコア 95.924% を達成した。

ABSTRACT

This paper describes our method for the task of Semantic Question Similarity in Arabic in the workshop on NLP Solutions for Under-Resourced Languages (NSURL). The aim is to build a model that is able to detect similar semantic questions in the Arabic language for the provided dataset. Different methods of determining questions similarity are explored in this work. The proposed models achieved high F1-scores, which range from (88% to 96%). Our official best result is produced from the ensemble model of using a pre-trained multilingual BERT model with different random seeds with 95.924% F1-Score, which ranks the first among nine participants teams.

研究の動機と目的

• 低リソース NLP 環境におけるアラビア語の質問ペアの意味的に類似したものを検出するロバストなモデルの開発。
• 語順や語彙形態の変動が著しいアラビア語における並び替え検出の課題に対処すること。
• 重複または類似した質問を特定することで、アラビア語 Q&A プラットフォームにおける質問検索の効率を向上させること。
• 事前学習済み多言語 BERT とアンサンブル戦略がアラビア語の意味的類似度タスクに与える有効性の評価。
• 共有コンペティションにおいて、Mawdoo3 AI アラビア語質問ペアデータセットで最先端の性能を達成すること。

提案手法

• 文書ペア分類のためのラベル付きアラビア語質問ペアデータセット上で多言語 BERT モデルを微調整した。
• 予測の多様性を高め、分散を低減するために、異なるランダムシードを用いた複数の BERT モデルを訓練した。
• より高い性能を持つモデルを優先するハードボーティングのアンサンブル戦略を用いて、複数の BERT モデルの予測を統合した。
• 標準的な BERT 微調整パイプラインを用い、初期学習率 2e-5、50 エポック、バッチサイズ 8 を設定した。
• Kaggle を介したオンライン提出により、公開および非公開テスト分割で F1 スコアを評価した。
• 最適な収束を得るために、シーケンス長（最大 50）、ヘッド数（8）、トレーニングバッチサイズなどのハイパーパramータを最適化した。

実験結果

リサーチクエスチョン

• RQ1 語彙形態的・構文論的複雑さが著しいアラビア語の質問ペアにおいて、多言語 BERT が意味的類似度を効果的に捉えることができるか？
• RQ2 複数のランダムシードを用いたモデルアンサンブルは、アラビア語の意味的類似度タスクにおける一般化性能と性能をどのように向上させるか？
• RQ3 RNN、CNN、アテンションベース、BERT ベースのモデルは、アラビア語質問ペア類似度タスクにおいて、それぞれどのように比較されるか？
• RQ4 従来のニューラルネットワークや単語レベルモデルと比較して、アラビア語データ上で BERT を微調整することで、F1 スコアはどの程度向上するか？
• RQ5 アンサンブル学習は、低リソースのアラビア語 NLP タスクにおいて過学習を緩和し、ロバスト性を向上させるか？

主な発見

• 異なるランダムシードを用いた 4 つの BERT モデルのアンサンブルは、プライベート F1 スコア 96.155% を達成したが、公式の最高スコアは 95.924% であった。
• 多言語 BERT モデルは、他のすべてのモデルを上回り、公開テストセットで 96.050%、プライベートセットで 95.617% の F1 スコアを達成した。
• RNN および CNN モデルは F1 スコア約 88% を記録し、複雑なアラビア語の意味的マッチングにおいて限界的な性能を示した。
• マルチヘッドアテンションモデルは、公開データで 86.804%、プライベートデータで 87.889% のスコアを記録し、中程度の性能を示した。
• BERT モデルのアンサンブルにより一般化性能が向上し、5 シードのアンサンブルではプライベート F1 スコア 96.232% を達成し、公式の最高スコアを上回った。
• 最終的なアンサンブルモデルは、NSURL-2019 タスク 8 競争で参加した 9 チーム中 1 位を獲得した。