[論文レビュー] Neural Sentence Ordering Based on Constraint Graphs

Yutao Zhu, Kun Zhou+3 more|arXiv (Cornell University)|Jan 27, 2021

Topic Modeling参考文献 38被引用数 7

ひとこと要約

本稿では、局所的およびグローバルな順序情報を捉えるために、マルチスケール制約グラフを活用するニューラル文順序付けモデルを提案する。相対的順序制約と文表現を統合するためにグラフ同型性ネットワーク（GIN）を用いる。本手法は、さまざまな距離における細分化された順序信号を効果的に統合することで、5つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Sentence ordering aims at arranging a list of sentences in the correct order. Based on the observation that sentence order at different distances may rely on different types of information, we devise a new approach based on multi-granular orders between sentences. These orders form multiple constraint graphs, which are then encoded by Graph Isomorphism Networks and fused into sentence representations. Finally, sentence order is determined using the order-enhanced sentence representations. Our experiments on five benchmark datasets show that our method outperforms all the existing baselines significantly, achieving a new state-of-the-art performance. The results demonstrate the advantage of considering multiple types of order information and using graph neural networks to integrate sentence content and order information for the task. Our code is available at https://github.com/DaoD/ConstraintGraph4NSO.

研究の動機と目的

• 既存の文順序付け手法が、局所的対比較順序とグローバルな文脈的依存関係を同時にモデル化できないという限界を解消すること。
• さまざまな文間距離で顕在する異なる種類の順序情報——例えば、近接する文どうしの順序、離れた文どうしの順序、および終端を示す語句（例：'finally'）によるグローバル位置制約——を体系的に捉え統合できるかを調査すること。
• 異なるスケールの粒度に基づく複数の制約グラフを用いて相対的順序の好みをモデル化することで、文順序付けの性能を向上させること。
• グラフニューラルネットワークが、異種の順序信号を統合的に統合し、豊富な文表現に変換できることを示すこと。
• 学習可能なマルチスケール制約グラフフレームワークを用いて、文順序付けの新しい最先端のベースラインを確立すること。

提案手法

• 本手法は、3種類の異なる制約グラフを構築する：(1) 直接の後続関係（距離1）、(2) 離れた順序関係（距離>1）、(3) グローバルな位置制約（例：'finally' が文の終端を示すもの）。
• 各制約グラフは、文の意味的および話法的特徴に基づいて、文対間の相対的順序を予測する分類器を別々に学習することで構築される。
• グラフ同型性ネットワーク（GIN）を各制約グラフに適用し、近隣の情報を集約することで、文表現を更新し、局所的およびグローバルな順序依存関係を捉える。
• 3つのグラフからの表現を連結し、最終的な分類器に供給することで、文の完全な順序を予測する。
• 本フレームワークは、BERT、RoBERTa、ALBERTなどの事前学習言語モデルをサポートしており、制約予測の第一段階で微調整を適用することで性能を向上させる。
• 最終的な順序予測タスクに対して交差エントロピー損失を用いてエンドツーエンドで学習し、各グラフタイプの寄与をアブレーションスタディで検証する。

実験結果

リサーチクエスチョン

• RQ1 即座の続行関係、離れた順序、グローバルな位置制約という複数のスケールで文の順序をモデル化することで、文順序付けの性能が向上するか？
• RQ2 グラフニューラルネットワークは、複数の制約グラフから得られる異種の順序信号を、統一された文表現に効果的に統合できるか？
• RQ3 本手法は、対比較分類または自己回帰的デコードに依存する既存のニューラルベースラインを上回るか？
• RQ4 異なる事前学習言語モデル（例：BERT、RoBERTa、ALBERT）が、制約予測フェーズの性能にどの程度寄与するか？
• RQ5 文の最初と最後の文を予測する能力が、従来手法に比べてどの程度優れているか？（文の整合性にとって極めて重要な要因であるため）

主な発見

• 提案手法は、5つのベンチマークデータセットで最先端の性能を達成し、AANでは平均 Kendall’s tau 0.8236、SINDでは0.5856を記録し、すべての先行研究を上回る。
• アブレーションスタディの結果、3つの制約グラフを併用した場合（g1+g2+g3）が最も優れた性能を示し、個々のグラフが最終結果に有意義な寄与をしていることが判明した。
• AANデータセットでは、最初の文予測で91.47%、最後の文予測で80.35%の精度を達成し、次に優れた手法（B-Tsort）をそれぞれ1.86%、1.78%上回った。
• 第一段階でBERTを微調整することで、わずかな性能向上が得られ、タスク特化型の適応が制約予測の精度向上に寄与することが示された。
• GINをGCNに置き換えても、性能はわずかに低下（例：AANでは0.8206 vs. 0.8236）し、GINが制約グラフの構造的特徴を捉えるのに適していることが示された。
• t-SNE可視化により、学習後のモデルの文表現は、BERTの元の埋め込みよりも明確な順序に依存する構造を有していることが確認され、モデルが表現に順序情報を効果的に統合できていることを裏付けた。