[論文レビュー] Structured Neural Summarization

Patrick Fernandes, Miltiadis Allamanis+1 more|arXiv (Cornell University)|Nov 5, 2018

Topic Modeling参考文献 38被引用数 116

ひとこと要約

本論文は標準的なシーケンスエンコーダをグラフニューラルネットワーク（GNN）コンポーネントで拡張し、構造化データにおける長距離関係をより効果的に捉え、コードと自然言語タスクの要約性能を向上させる。

ABSTRACT

Summarization of long sequences into a concise statement is a core problem in natural language processing, requiring non-trivial understanding of the input. Based on the promising results of graph neural networks on highly structured data, we develop a framework to extend existing sequence encoders with a graph component that can reason about long-distance relationships in weakly structured data such as text. In an extensive evaluation, we show that the resulting hybrid sequence-graph models outperform both pure sequence models as well as pure graph models on a range of summarization tasks.

研究の動機と目的

• 長いシーケンスの要約を改善するために、明示的な関係構造の利用を動機づける。
• 従来のシーケンスエンコーダとGNNを統合したハイブリッドなシーケンスエンコーダを提案する。
• ハイブリッドモデルが、複数のタスクにおいて純粋なシーケンスベースまたは純粋なグラフベースのベースラインを上回ることを示す。

提案手法

• 標準的なシーケンスモデルを用いて入力をエンコードし、各トークンの表現を取得する。
• これらのトークン表現をノード特徴としてGGNNに初期化する。
• 関係性をエンコードする構築済みのグラフ上で情報を伝搬する（例：NEXTTOKEN、IN、REFエッジ）。
• 重み付きリードアウトによってグラフレベルの表現を計算し、デコードのためにシーケンス表現と結合する。
• 標準的なシーケンスデコーダ（LSTM/Pointer）を用いて学習し、複数の要約タスクで評価する。
• 再現性のための再現可能なコードとデータ拡張を提供する。

実験結果

リサーチクエスチョン

• RQ1 標準的なシーケンスエンコーダにグラフコンポーネントを組み込むことで、長い入力や構造化された入力の要約性能を改善できるか？
• RQ2 どの種類の関係エッジ（例：トークンレベル、構文木、コアリファレンス）は、タスク全般で性能を最も改善するか？
• RQ3 ハイブリッドなシーケンス-グラフモデルが純粋なシーケンスおよび純粋なグラフのベースラインを上回るか？
• RQ4 これらのタスクで、異なるデコーダアーキテクチャ（アテンション、コピーなど）と組み合わせたハイブリッドモデルはどう性能を示すか？

主な発見

• ハイブリッドなシーケンス-グラフエンコーダは、すべてのタスクにおいて純粋なシーケンスおよび純粋なグラフのベースラインを上回る。
• コードの METHODNAMING および METHODDOC では、GNNを用いたモデルが比較的単純なグラフ構造で最先端を超える。
• NLSUMMARIZATION では、ハイブリッドモデルはタスク特化型の自然言語モデルと競合するが、一部の指標は See et al. (2017) の最強デコーダには及ばない。
• アブレーション研究は、追加の言語構造が役立つことを示すが、言語的手掛かりが少なくともGNNは依然として利得をもたらす。
• グラフエッジを介する長距離およびトークンを横断する関係は、要約の抽象的な全体像を維持するのに役立つ。
• 主要な定性的事例は、参照の処理と長距離依存の改善を示す一方で、反復の一部が依然課題として残っている。