[論文レビュー] Neural Network Models for Implicit Discourse Relation Classification in English and Chinese without Surface Features

Attapol Rutherford, Vera Demberg+1 more|arXiv (Cornell University)|Jun 7, 2016

Topic Modeling参考文献 29被引用数 10

ひとこと要約

本稿では、語彙や解析木といった表面特徴に依存せずに、英語および中国語における暗黙的論理関係分類のためのフィードフォワードおよびLSTMニューラルネットワークモデルを提案する。驚くべきことに、最良のフィードフォワードモデルはLSTMおよび手作業で特徴を設計したシステムを上回り、英語（36.26%の正確度）および中国語（85.45%の正確度）のデータセットで最先端の性能を達成した。これは、CDTB形式の中国語論理木構造解析用の最初のニューラルモデルである。

ABSTRACT

Inferring implicit discourse relations in natural language text is the most difficult subtask in discourse parsing. Surface features achieve good performance, but they are not readily applicable to other languages without semantic lexicons. Previous neural models require parses, surface features, or a small label set to work well. Here, we propose neural network models that are based on feedforward and long-short term memory architecture without any surface features. To our surprise, our best configured feedforward architecture outperforms LSTM-based model in most cases despite thorough tuning. Under various fine-grained label sets and a cross-linguistic setting, our feedforward models perform consistently better or at least just as well as systems that require hand-crafted surface features. Our models present the first neural Chinese discourse parser in the style of Chinese Discourse Treebank, showing that our results hold cross-linguistically.

研究の動機と目的

• 語彙的辞書や句構造解析といった表面特徴に依存しない、暗黙的論理関係分類のためのニューラルネットワークモデルの開発。
• 低リソースな論理構造解析設定において、高次元の単語ベクトルが文脈的構造の欠如を補うことができるかの調査。
• 異なるニューラルアーキテクチャ（フィードフォワード、LSTM、ツリーLSTM）が言語をまたいで論理関係分類に与える効果の評価。
• 中国語論理木構造語彙（CDTB）用の最初のニューラル論理構造解析器を確立し、言語間一般化の有効性を検証すること。

提案手法

• 表面レベルの特徴を一切用いずに、大規模な単語彙語彙から学習された300次元の密な単語埋め込み表現を入力として使用する。
• 2つの論理的主語をエンコードするためのフィードフォワードおよびLSTMアーキテクチャを用い、相互作用は全結合層でモデル化する。
• 英語および中国語のGigaword語彙を用いてCBOWおよびSkipgramモデルで単語ベクトルを学習し、ハイパーパrameterは開発セットで最適化する。
• 交差検証（7分割）を中国語で、英語では標準的なCoNLLテスト分割を用い、エンドツーエンドで学習し、交差エントロピー損失関数を用いて評価する。
• 中国語では、Skipgram埋め込みが常にCBOWを上回り、モデル性能はベクトル次元数およびアーキテクチャの選択に敏感である。
• ベースライン比較には、語のペア、依存関係規則、Brownクラスタなどの手作業特徴を用いた最大エントロピーモデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 表面特徴を一切用いないニューラルネットワークモデルは、手作業特徴に依存するシステムと比較して、競争的または優れた性能を達成できるか？
• RQ2 低リソースな論理構造解析設定において、より複雑な再帰的アーキテクチャ（LSTMなど）よりも単純なフィードフォワードアーキテクチャが優れた性能を示すか？
• RQ3 高次元の単語ベクトルは、句構造解析や意味的辞書といった言語的構造の欠如をどの程度補えるか？
• RQ4 英語で学習したニューラルモデルは、言語固有の特徴を必要とせずに中国語の論理構造解析に効果的に一般化できるか？

主な発見

• 最良のフィードフォワードモデルは、CoNLL 2015-2016英語共有タスクで36.26%の正確度を達成し、表面特徴を用いた前回の最先端システム（34.45%）を顕著に上回った。
• 中国語論理木構造語彙（CDTB）では、最良のフィードフォワードモデルが85.45%の正確度に達し、すべての特徴セットを用いた最も強力な特徴ベースベースライン（84.16%）を上回った。
• フィードフォワードモデルは、英語および中国語の両方で、すべてのLSTMバージョンを上回った。これは、このタスクにおいて順序処理のモデリングが必須ではないことを示している。
• 中国語では、Skipgram単語ベクトルがCBOWを上回る性能を示したが、英語では同様の差は観察されず、埋め込み品質に言語固有の要因が関与している可能性を示唆している。
• 結果から、高次元の単語ベクトルが手作業特徴を効果的に置き換えられ、言語固有リソースを必要とせずに、強固な言語間一般化可能な論理構造解析が可能であることが示された。
• 本研究は、CDTB形式の中国語論理木構造語彙用の最初のニューラル論理構造解析器を提示し、アプローチの言語間転送可能性を確認した。