[論文レビュー] Improving Context Modeling in Neural Topic Segmentation

Linzi Xing, Brad Hackinen+2 more|arXiv (Cornell University)|Oct 7, 2020

Topic Modeling参考文献 41被引用数 8

ひとこと要約

本稿では、局所的文脈認識を強化するため、共起性関連の補助タスクと制限付き自己注意機構を導入したニューラルトピックセグメンテーションモデルを提案する。この手法は、3つのデータセットでSOTAモデルを著しく上回り、ドメイン転送においても頑健性を示し、ドイツ語および中国語に対しても効果的に一般化され、言語や設定にかかわらず一貫した性能向上を達成する。

ABSTRACT

Topic segmentation is critical in key NLP tasks and recent works favor highly effective neural supervised approaches. However, current neural solutions are arguably limited in how they model context. In this paper, we enhance a segmenter based on a hierarchical attention BiLSTM network to better model context, by adding a coherence-related auxiliary task and restricted self-attention. Our optimized segmenter outperforms SOTA approaches when trained and tested on three datasets. We also the robustness of our proposed model in domain transfer setting by training a model on a large-scale dataset and testing it on four challenging real-world benchmarks. Furthermore, we apply our proposed strategy to two other languages (German and Chinese), and show its effectiveness in multilingual scenarios.

研究の動機と目的

• RNNが長距離依存性に過度に依存するため、現在のニューラルトピックセグメンテーションモデルが局所的文脈を効果的にモデル化できないという限界に対処する。
• 学習データとテストデータの分布が異なるドメイン転送シナリオにおいて、モデルの頑健性を向上させる。
• 英語以外の多言語環境において、提案された文脈モデル化戦略の有効性を評価する。
• 文レベルの共起性と局所的文同士の相互作用を明示的にモデル化することで、性能を向上させる。

提案手法

• 同じセグメントに属する文の表現同士の類似度を高め、異なるセグメントに属する文の表現同士の類似度を低くする共起性関連の補助タスクを導入する。
• 固定サイズの窓（k）を用いた制限付き自己注意機構を適用し、直近の隣接する文に注目することで、局所的文脈モデル化を向上させる。
• SOTAベースライン（Koshorek et al., 2018）のアーキテクチャを保った階層的注意BiLSTMネットワークに、補助タスクと制限付き自己注意機構を統合する。
• 主なトピックセグメンテーション損失と補助共起性損失の両方を組み合わせた目的関数で、モデルをエンドツーエンド最適化する。
• BiLSTMエンコーダの文レベルの隠れ状態を、共起性スコアモジュールの入力とし、隣接する文同士のペアワイズ類似度を計算する。
• 同じトレーニングおよび評価プロトコルを用いて、ドイツ語および中国語のWikipediaデータセットで微調整することで、多言語環境にも同様の戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 共起性関連の補助タスクにより、文の表現品質が向上することで、ニューラルトピックセグメンテーションモデルの性能が向上するか？
• RQ2 固定された局所的窓に注目する制限付き自己注意機構は、トピックセグメンテーションにおいて、標準的な自己注意機構よりも優れた文脈モデル化を実現するか？
• RQ3 モデルを1つのデータセットで学習し、多様で現実世界のベンチマークでテストするドメインシフトの状況下で、提案された文脈モデル化戦略はどの程度の性能を示すか？
• RQ4 ドイツ語や中国語のような低リソース言語や構造が複雑な言語に対しても、提案手法はどの程度転送可能か？

主な発見

• 補助タスク（AUX）と制限付き自己注意機構（RSA）を併用した本手法は、3つのドメイン内データセットにおいて、最良のベースライン（TextSeg）よりも平均で25%の$P_k$スコア向上を達成した。
• 4つの実世界のドメイン転送テストセットのうち3つで、すべてのベースラインを上回り、分布シフトに対して強い頑健性を示した。
• AUXとRSAの組み合わせが最大の性能向上をもたらし、3つのデータセット全体で基本モデル比17%の平均$P_k$スコア向上を達成した。
• 制限付き自己注意機構は、英語、ドイツ語、中国語の全言語で一貫して性能向上をもたらし、中国語では$P_k$誤差を最大0.7ポイントまで低減した。
• 補助タスクは英語およびドイツ語では性能向上をもたらしたが、中国語では限定的な効果にとどまり、短く断片的な文構造により共起性シグナルの有用性が低下したためと推測される。
• 大規模なWikipediaデータセットで学習したモデルは、4つの多様な実世界ベンチマークへも効果的に一般化でき、低リソースおよびドメイン外設定における頑健性を確認した。