[論文レビュー] Enhancing Recurrent Neural Networks with Sememes.

Yujia Qin, Fanchao Qi+6 more|arXiv (Cornell University)|Oct 20, 2019

Topic Modeling参考文献 47被引用数 5

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNNs）に最小意味単位であるセメマーを統合することで、多様な自然言語処理（NLP）タスクにおけるシーケンスモデリング能力を向上させることを提案する。LSTM、GRUおよびその双方向変種のための3つの異なるセメマー統合手法を設計し、言語モデリングおよび自然言語推論タスクで一貫した性能向上を達成した。また、敵対的攻撃に対して、敵対的訓練と比較してより優れた耐性を示した。

ABSTRACT

Sememes, the minimum semantic units of human languages, have been successfully utilized in various natural language processing applications. However, most existing studies exploit sememes in specific tasks and few efforts are made to utilize sememes more fundamentally. In this paper, we propose to incorporate sememes into recurrent neural networks (RNNs) to improve their sequence modeling ability, which is beneficial to all kinds of downstream tasks. We design three different sememe incorporation methods and employ them in typical RNNs including LSTM, GRU and their bidirectional variants. For evaluation, we use several benchmark datasets involving PTB and WikiText-2 for language modeling, SNLI for natural language inference. Experimental results show evident and consistent improvement of our sememe-incorporated models compared with vanilla RNNs, which proves the effectiveness of our sememe incorporation methods. Moreover, we find the sememe-incorporated models have great robustness and outperform adversarial training in defending adversarial attack. All the code and data of this work will be made available to the public.

研究の動機と目的

• セメマーをRNNアーキテクチャに根本的に統合し、意味理解力およびシーケンスモデリング能力を向上させること。
• セメマー統合が、タスク固有の応用を超えて広範な下流NLPタスクにどのように利益をもたらすかを調査すること。
• 敵対的攻撃下でのセメマー強化RNNの耐性を評価し、敵対的訓練と比較すること。
• 標準RNN（双方向変種を含む）に適用可能な汎用的なセメマー統合メカニズムを開発すること。

提案手法

• LSTMおよびGRUを含むRNNの隠れ状態に、異なるアーキテクチャ層でセメマー表現を統合するための3つの異なる手法を設計した。
• セメマー表現は、アテンションに類似したメカニズムや隠れ状態との直接連結によって統合され、意味情報の流れが豊かになった。
• 言語モデリングにはPTBおよびWikiText-2の標準ベンチマーク、自然言語推論にはSNLIを用い、エンドツーエンドでモデルを学習した。
• 双方向LSTMおよびGRUの変種は、より豊かな文脈的意味を捉えるためにセメマー統合を拡張した。
• タスク間で意味的一致性と転送可能性を確保するため、事前学習済みのセメマー埋め込みを活用した。
• 敵対的例を用いて耐性を評価し、敵対的訓練で学習したモデルと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 セメマー統合は、複数のNLPタスクにおける標準RNNの性能を一貫して向上させるか？
• RQ2 敵対的訓練と比較して、セメマー強化RNNは敵対的攻撃に対してどのように防御性能を示すか？
• RQ3 アーキテクチャの大幅な見直しを伴わずに、セメマー表現をRNNアーキテクチャに効果的に統合する方法は何か？
• RQ4 セメマー統合は、精度の向上を超えて、RNNの一般化能力および耐性を向上させるか？

主な発見

• PTBおよびWikiText-2データセットを用いた言語モデリングタスクにおいて、セメマー統合RNNは、vanilla RNNよりも一貫して顕著な向上を達成した。
• 敵対的攻撃に対する防御において、敵対的訓練を上回る優れた耐性を示し、優れた耐性を実証した。
• 提案されたセメマー統合手法は、双方向LSTMおよびGRUを含むさまざまなRNNバージョンにおいても有効であった。
• 多様なタスクにわたり性能向上が顕著で、セメマー強化アプローチの一般化可能性を示した。
• セメマーの統合により、より意味的に情報に基づいた隠れ表現が得られ、シーケンスモデリングにおける文脈理解が向上した。