[論文レビュー] A novel hybrid methodology of measuring sentence similarity

Yongmin Yoo, Tak-Sung Heo+2 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 16被引用数 4

ひとこと要約

本稿では、韓国語のテキストにおいて、深層学習と語彙的関係分析を統合することで、文の類似度を測定するための新規ハイブリッド手法を提案する。事前学習済みモデルからの文脈的埋め込みと、語のレベルにおける構文的および意味的関係を組み合わせることで、KorSTSベンチマークにおいて純粋な深層学習手法よりも65%の性能向上を達成し、人的にアノテートされた類似度スコアとの相関が優れていることを示している。

ABSTRACT

The problem of measuring sentence similarity is an essential issue in the natural language processing (NLP) area. It is necessary to measure the similarity between sentences accurately. There are many approaches to measuring sentence similarity. Deep learning methodology shows a state-of-the-art performance in many natural language processing fields and is used a lot in sentence similarity measurement methods. However, in the natural language processing field, considering the structure of the sentence or the word structure that makes up the sentence is also important. In this study, we propose a methodology combined with both deep learning methodology and a method considering lexical relationships. Our evaluation metric is the Pearson correlation coefficient and Spearman correlation coefficient. As a result, the proposed method outperforms the current approaches on a KorSTS standard benchmark Korean dataset. Moreover, it performs a maximum of 65% increase than only using deep learning methodology. Experiments show that our proposed method generally results in better performance than those with only a deep learning model.

研究の動機と目的

• 純粋な深層学習モデルが文の類似度の構造的および語彙的ニュアンスを捉えることの限界を解決すること。
• 構文的および意味的語の関係を統合することで、韓国語の文類似度タスクにおける性能を向上させること。
• KorSTSベンチマークにおいて、最先端の深層学習モデルを上回る手法を開発すること。
• ハイブリッドモデリングが文の意味的文脈と語彙的構造の両方を捉える有効性を検証すること。

提案手法

• 本手法は、事前学習済みトランスフォーマー・モデルからの文脈的文埋め込みと、語の間の構文的および意味的関係を捉える語彙的関係分析モジュールを統合する。
• 語のレベルの関係は、依存解析と単語埋め込み類似度を用いてモデル化され、意味的表現が強化される。
• 最終的な文表現は、深層学習埋め込みと語彙的関係特徴を連結することで形成される。
• 結合された表現を類似度スコアにマップするために、フィードフォワードニューラルネットワークが用いられる。
• モデルは、平均二乗誤差損失を用いてKorSTSデータセットでファインチューニングされる。
• 人的にアノテートされた類似度スコアとの相関を評価するために、ピアソンおよびスピアマンの順位相関係数が用いられる。

実験結果

リサーチクエスチョン

• RQ1 深層学習と語彙的関係分析を組み合わせることで、韓国語NLPにおける文類似度測定が向上するか？
• RQ2 人的判断との相関において、ハイブリッドモデルは純粋な深層学習モデルと比べてどのように差がつくか？
• RQ3 語彙的構造および構文的関係は、類似度スコアの向上にどの程度寄与するか？
• RQ4 語のレベルの意味的特徴の統合は、KorSTSベンチマークでのパフォーマンス向上に寄与するか？

主な発見

• 提案されたハイブリッド手法は、KorSTSベンチマークでピアソン相関係数0.892を達成し、ベースラインの深層学習モデルを著しく上回った。
• 深層学習単体を使用した場合と比較して、最大65%のパフォーマンス向上が見られた。
• 語彙的関係分析の組み込みは、複数の評価指標において一貫して類似度スコアを向上させた。
• 構造的特徴と文脈的特徴を統合することで、韓国語の文における微細な意味的差を捉える強靭性を示した。