[論文レビュー] The Importance of Being Recurrent for Modeling Hierarchical Structure

Ke Tran, Arianna Bisazza+1 more|arXiv (Cornell University)|Mar 9, 2018

Topic Modeling参考文献 18被引用数 12

ひとこと要約

この論文は、再帰的ニューラルネットワーク（LSTM）が、非再帰的トランスフォーマー（FAN）よりも階層的言語構造をどのようにモデル化するかを調査している。主語・動詞一致および論理的推論のタスクを用いて、著者らはLSTMがより長いシーケンスに一貫して良好に一般化し、誤った特徴に対してより頑健であることを示しており、再帰性が非再帰的モデルでさえも階層的依存関係を捉えるために不可欠であることを示している。

ABSTRACT

Recent work has shown that recurrent neural networks (RNNs) can implicitly capture and exploit hierarchical information when trained to solve common natural language processing tasks such as language modeling (Linzen et al., 2016) and neural machine translation (Shi et al., 2016). In contrast, the ability to model structured data with non-recurrent neural networks has received little attention despite their success in many NLP tasks (Gehring et al., 2017; Vaswani et al., 2017). In this work, we compare the two architectures---recurrent versus non-recurrent---with respect to their ability to model hierarchical structure and find that recurrency is indeed important for this purpose.

研究の動機と目的

• 再帰的アーキテクチャ（例：LSTM）が、非再帰的トランスフォーマー（FAN）よりも、順序データ内の暗黙的な階層的構造をよりうまくモデル化できるかどうかを評価すること。
• ネストされた句構造的または論理的依存関係を要するタスクにおいて、LSTMとFANの一般化能力を評価すること。
• 非再帰的モデルの計算効率が、階層的構造の理解の欠落を伴うかどうかを特定すること。
• 明示的教師信号または言語モデル事前学習が、両アーキテクチャにおける階層的構造の捉え込みを改善するかどうかを調査すること。

提案手法

• 研究では、LSTMとFAN（非再帰的トランスフォーマーの変種）を、2つの制御されたNLPタスクである主語・動詞一致と論理的推論において比較した。
• 主語・動詞一致のタスクでは、モデルは次単語予測または明示的な数詞予測の訓練を受け、性能は変動する文法的距離における正答率で測定された。
• 論理的推論のタスクでは、モデルが前提・仮説ペアをLSTMまたはFANエンコーダーで符号化し、その後に全結合分類器を用いて7クラスの関係予測がなされた。
• FANは、多頭部自己注意を用いて、文の表現を固定サイズのベクトルにプーリングするための学習可能なクエリベクトルを用いた。
• ハイパーパrameterはグリッドサーチで最適化され、モデルはAdamで最適化された。単語埋め込みと出力埋め込みは共有された。
• 実験は、完全なデータセットと論理演算子が制限されたサブセットの両方で実施され、より長いシーケンスへの一般化をテストした。

実験結果

リサーチクエスチョン

• RQ1 再帰性は、非再帰的アテンション機構と比較して、階層的言語構造モデル化において顕著な利点を提供するか？
• RQ2 ネストされた文法的または論理的依存関係を要するタスクにおいて、LSTMとFANは、より長いシーケンスへの一般化においてどのように比較されるか？
• RQ3 両アーキテクチャにおいて、階層的構造の捉え込みに、明示的教師信号が言語モデル事前学習よりも効果的か？
• RQ4 主語・動詞一致タスクにおける誤った文法的特徴に対して、LSTMとFANはそれぞれどの程度頑健か？

主な発見

• 言語モデル学習または明示的教師信号の両方で訓練された場合、LSTMはFANを上回り、とくに長い文法的距離において顕著に優れた性能を示した。
• 論理的推論タスクでは、短いシーケンス（≤6つの論理演算子）で訓練された場合、LSTMはFANよりも顕著に優れた一般化性能を示し、より長いテストシーケンス（6 < n ≤ 12）でも高い正答率を達成した。
• FANは完全なデータセットで訓練された場合、LSTMと同等の性能を示したが、より長いシーケンスへの一般化では性能が急激に低下した。
• LSTMは主語・動詞一致タスクにおいて、誤った特徴に対してより高い頑健性を示し、さまざまな距離と引きつける要因の数においても高い正答率を維持した。
• 結果から、非再帰的モデルが計算的に効率的であっても、再帰性が階層的構造を捉える上で重要な要因であることが示された。