[論文レビュー] Yuanfudao at SemEval-2018 Task 11: Three-way Attention and Relational Knowledge for Commonsense Machine Comprehension

Liang Wang, Sun, Meng+3 more|arXiv (Cornell University)|Mar 1, 2018

Topic Modeling参考文献 18被引用数 12

ひとこと要約

本論文では、文章、質問、回答の間の相互作用を単語レベルのアテンションでモデル化する、共通認識に基づく機械理解のための三重アテンションニューラルネットワーク、TriANを提示する。ConceptNetからの関係埋め込みを組み込み、RACEで事前学習することにより、SemEval-2018タスク11のテストセットで83.95%の精度を達成し、ほぼ最先端の性能に到達した。

ABSTRACT

This paper describes our system for SemEval-2018 Task 11: Machine Comprehension using Commonsense Knowledge. We use Three-way Attentive Networks (TriAN) to model interactions between the passage, question and answers. To incorporate commonsense knowledge, we augment the input with relation embedding from the graph of general knowledge ConceptNet (Speer et al., 2017). As a result, our system achieves state-of-the-art performance with 83.95% accuracy on the official test data. Code is publicly available at https://github.com/intfloat/commonsense-rc

研究の動機と目的

• 文章、質問、回答のシーケンス間の相互作用をモデル化することで、共通認識推論タスクにおける機械理解を向上させること。
• 外部の共通認識知識をConceptNetから関係埋め込みとして統合し、モデルの性能を向上させること。
• 低リソースの読解設定における事前学習と手作業特徴量の有効性を調査すること。
• 異なるアテンションメカニズムと入力表現がモデルの精度に与える影響を評価すること。
• 浅いモデルが小規模なデータセットにおいて、深いモデルよりも一般化性能に優れているかどうかを検討すること。

提案手法

• モデルは三重アテンション機構を用いて、シーケンスアテンション関数を通じて文書に配慮した質問表現と回答に配慮した文書表現を計算する。
• 入力表現は、GloVe埋め込み、品詞と固有表現の埋め込み、ConceptNetからの関係埋め込み、および項頻度や共起性などの手作業特徴量を組み合わせる。
• 関係埋め込みは、文書内の語と質問または回答内の語の間のエッジをConceptNetから照会することで得られる。
• BiLSTM層を連結された表現に適用し、文書、質問、回答の間の順序依存性をモデル化する。
• より良い一般化と小規模なSemEval-2018データセットにおける過学習の低減を図るため、RACEデータセットで事前学習を実施する。
• 最終的な性能を向上させるためにモデルのアンサンブルを採用し、公式テストセットで83.95%の精度を達成した。

Figure 1: TriAN Model Architecture.

実験結果

リサーチクエスチョン

• RQ1 三重アテンションは、共通認識読解における文書、質問、回答の間の相互作用をどの程度効果的にモデル化できるか？
• RQ2 ConceptNetからの関係埋め込みは、共通認識理解タスクの性能向上にどの程度寄与するか？
• RQ3 RACEのような外部読解理解データセットで事前学習をすることで、低リソースベンチマークでの性能が向上するか？
• RQ4 品詞（POS）、固有表現（NER）、手作業特徴量などの異なる入力表現コンponentsが、モデルの精度にどの程度寄与するか？
• RQ5 深層モデルは通常、より大きなデータセットで優れた性能を示すが、このデータセットではなぜ深層的なTriANモデルが浅層モデルよりも性能を発揮しないのか？

主な発見

• 事前学習を施したTriANモデルは、公式SemEval-2018タスク11テストセットで83.95%の精度を達成し、ほぼ最先端の性能に到達した。
• RACEデータセットで事前学習を施したことで、初期学習から訓練した場合と比較してテストセットで1.13%の向上が見られ、データが限られた状況での大きな利点が示された。
• ConceptNetからの関係埋め込みは約1%の精度向上をもたらし、共通認識推論における価値が裏付けられた。
• 個々のアテンション機構（文書-質問、文書-回答、質問-回答）を削除しても影響は限定的であるが、すべてのアテンションを削除するとテストセットで1.3%の性能低下が生じた。
• 1層のTriANモデルが2層のバージョンを上回る性能を示し、深いアーキテクチャが小規模な学習データセットでは過学習を引き起こす可能性があることが示された。
• 手作業特徴量と固有表現埋め込みはわずかに性能向上に寄与したが、品詞埋め込みはやや良い効果を示した。