[論文レビュー] Chinese Sentences Similarity via Cross-Attention Based Siamese Network

Zhen Wang, Xiangxie Zhang+1 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling参考文献 11被引用数 4

ひとこと要約

本稿では、クロスアテンション機構を用いて2つの文間の依存関係をモデル化し、Bi-LSTM層を用いて特徴抽出を強化する、クロスアテンションに基づくシames型ニューラルネットワークであるCATsNetを提案する。このモデルはLCQMCデータセット上で83.15%の精度を達成し、自己アテンションやLSTM、CNNアーキテクチャに基づく従来のシames型モデルを上回った。

ABSTRACT

Measuring sentence similarity is a key research area nowadays as it allows machines to better understand human languages. In this paper, we proposed a Cross-Attention Siamese Network (CATsNet) to carry out the task of learning the semantic meanings of Chinese sentences and comparing the similarity between two sentences. This novel model is capable of catching non-local features. Additionally, we also tried to apply the long short-term memory (LSTM) network in the model to improve its performance. The experiments were conducted on the LCQMC dataset and the results showed that our model could achieve a higher accuracy than previous work.

研究の動機と目的

• 中国語文間の意味的類似度を正確に測定する課題に取り組むこと。これは、文字レベルの曖昧さと語の区切りの欠如によって複雑化している。
• 自己アテンションや局所的特徴抽出器が達成できる範囲を超えて、文間依存関係をモデル化することで、文表現学習を改善すること。
• クロスアテンションによるグローバルな文脈モデリングと、Bi-LSTMによる順序モデリングを組み合わせることで、中国語文類似度の性能を向上させること。
• 大規模な中国語NLPベンチマーク上で、シames型アーキテクチャにクロスアテンションとBi-LSTMコンponentsを組み合わせた有効性を検証すること。

提案手法

• モデルは、2つの入力文を同時に処理できる共有重みを有するシames型ネットワーク構造を採用し、それらの意味的表現の比較を可能にする。
• クロスアテンションブロックは、2つの文の埋め込みからクエリ、キー、バリュー行列を計算し、文内ではなく文間でのアテンション計算を可能にする。
• クロスアテンション機構は、相手の文の関連するトークンに注目することで、文間依存関係を捉える文脈に適した表現を計算する。
• トランスフォーマー・エンコーダーブロック内のフィードフォワードネットワークを、順方向と逆方向のLSTM（Bi-LSTM）に置き換えることで、文の表現における順序パターンをよりよく捉える。
• 最終的な文の表現は分類器に与えられ、類似度が予測される。訓練データのクラス不均衡に対処するために、フォーカル損失が使用される。
• モデルは、238,766件の訓練ペアと12,500件のテストペアを有する大規模な中国語質問マッチングコーパスであるLCQMCデータセット上で訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 クロスアテンション機構を備えたシames型ネットワークは、自己アテンションや従来のRNN/CNNベースのモデルを上回る性能を示せるか？
• RQ2 トランスフォーマー・エンコーダー内のフィードフォワードネットワークをBi-LSTMに置き換えることで、類似度タスクにおける文表現学習が向上するか？
• RQ3 クロスアテンションとBi-LSTMの組み合わせは、文間および文内依存関係の両方を効果的にモデル化できるか？
• RQ4 フォーカル損失の使用は、クラス不均衡な文類似度データセットにおけるモデル性能を向上させるか？

主な発見

• CATsNetはLCQMCデータセットで83.15%の精度を達成し、最良のベースラインモデル（シames型畳み込みネットワーク）の77.31%を顕著に上回った。
• MLPヘッドを備えたクロスアテンション・シames型モデルは81.99%の精度を達成し、文間依存関係をモデル化することで、自己アテンションのみのモデルを上回ることを示した。
• 自己アテンション・シames型モデルは78.61%の精度を達成し、アテンション機構がRNNベースのモデル（シames型LSTM：68.63%、シames型Bi-LSTM：68.64%）を上回ることを示した。
• アブレーションスタディの結果、クロスアテンションとBi-LSTMを組み合わせることで最高の性能が得られ、グローバルな文脈モデリングと順序モデリングが補完的であることが確認された。
• 検証精度曲線は、CATsNetが全訓練エポックにわたり他のシames型モデルを一貫して上回っていることを示し、安定した学習ダイナミクスであることを示した。