[論文レビュー] KorNLI and KorSTS: New Benchmark Datasets for Korean Natural Language Understanding

Jiyeon Ham, Yo Joong Choe+3 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 28被引用数 17

ひとこと要約

本稿では、英語の訓練データセットを機械翻訳し、開発およびテストデータセットを人間が後処理することで構築した、韓国語における自然言語推論（NLI）および意味的テキスト類似度（STS）のための、公開初のベンチマークデータセット「KorNLI」と「KorSTS」を紹介する。著者らは多言語モデルを用いて強力なベースラインを確立し、KorNLIで微調整することでKorSTSの性能が顕著に向上することを示し、韓国語NLU研究の発展に向けたこれらのデータセットの有効性を示している。

ABSTRACT

Natural language inference (NLI) and semantic textual similarity (STS) are key tasks in natural language understanding (NLU). Although several benchmark datasets for those tasks have been released in English and a few other languages, there are no publicly available NLI or STS datasets in the Korean language. Motivated by this, we construct and release new datasets for Korean NLI and STS, dubbed KorNLI and KorSTS, respectively. Following previous approaches, we machine-translate existing English training sets and manually translate development and test sets into Korean. To accelerate research on Korean NLU, we also establish baselines on KorNLI and KorSTS. Our datasets are publicly available at https://github.com/kakaobrain/KorNLUDatasets.

研究の動機と目的

• 韓国語における公開可能なNLIおよびSTSデータセットの不足が、韓国語自然言語理解（NLU）の進展を妨えているという問題に対処すること。
• 機械翻訳と人間による後処理を活用して、高品質な韓国語NLIおよびSTSベンチマークデータセットを構築すること。
• 韓国語NLU研究の促進を目的に、KorNLIおよびKorSTSの両方のためのベースラインモデルを確立すること。
• 翻訳品質が多言語NLUタスクにおける意味的関係の保持に与える影響を評価すること。
• 韓国語データを用いたモデルの訓練および評価を可能にすることで、NLUにおける言語多様性を促進すること。

提案手法

• SNLI、MNLI、XNLI、STS-Bなどの既存の英語NLIおよびSTS訓練データセットを、社内開発のニューラル機械翻訳エンジンを用いて韓国語に機械翻訳すること。
• 学術的・技術的テキストに精通したプロフェッショナル翻訳者による開発およびテストデータセットの後処理を実施し、品質と一貫性を確保すること。
• M-USE、XLM-R、韓国語RoBERTaなどの多言語事前学習モデルを、KorNLIおよびKorSTSで微調整し、クロスエンコーディングおよびバイエンコーディングの両アプローチに適用すること。
• シアンセイネットワークアーキテクチャとMEANプーリングを用いた文埋め込み学習のためのSentence-BERTの微調整を適用すること。
• スピアマン順位相関（KorSTS）および正答率（KorNLI）を用いてモデル性能を評価し、KorNLIでの微調整に関するアブレーションスタディを実施すること。
• 多言語事前学習のみで訓練されたモデルと、KorNLIおよびKorSTSでさらに微調整されたモデルを比較し、転移学習の利点を評価すること。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳に続く人間による後処理が、韓国語のNLIタスクにおける意味的関係（含意、矛盾、中立）をどの程度保持しているか。
• RQ2 既存の多言語モデルは、新たに公開されたKorNLIおよびKorSTSデータセットにおいて、ゼロショットまたはフェイントショット設定でどの程度効果的か。
• RQ3 KorNLIで微調整することで、下流タスクのKorSTSベンチマーク性能が向上するか。これは、KorNLIが事前学習または微調整リソースとしての価値を持つことを示唆する。
• RQ4 KorNLIで微調整されたモデルの性能は、多言語データでのみ事前学習されたモデルと比較して、特に多言語間転送設定においてどうか。
• RQ5 意味的関係の保持に影響を及ぼす翻訳関連の失敗要因は何か。また、それらはモデルの一般化にどのように影響するか。

主な発見

• 機械翻訳後と後処理後の文間のBLEUスコアは、KorNLIで63.30、KorSTSで73.26であり、翻訳品質が高く、後処理の必要最小限（それぞれ47%および53%の文が変更なし）であることを示している。
• KorNLIで微調整することで、KorSTSベンチマークの性能が一貫して向上し、韓国語RoBERTaでは+1%、XLM-Rでは+4–11%の向上が得られた。これはKorNLIが貴重な学習リソースであることを示している。
• KorSTSで最も高い性能を示したモデルは、KorNLIおよびKorSTSの両方で微調整された大規模XLM-Rで、スピアマン順位相関が81.84を達成した。
• KorNLIで微調整されたXLM-Rは、KorNLIテストセットで80.3%の正答率を示し、他のXNLI言語での平均性能（80.1%）と同等であった。これは、多言語間転送が堅牢であることを示している。
• 「おたく」を「先生」に翻訳する際の性別中立的翻訳がラベル不一致を引き起こすといった翻訳関連の問題が存在したが、全体のラベル品質は意味的であり、微調整による一貫した性能向上が裏付けられた。
• M-USEやSentenceBERTベースのモデルは、KorNLIで微調整することで、fastTextや非微調整多言語モデルを上回る競争力のある非教師あり性能を達成した。