[論文レビュー] Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation

Goran Glavašš, Swapna Somasundaran|arXiv (Cornell University)|Jan 3, 2020

Topic Modeling参考文献 42被引用数 7

ひとこと要約

本稿では、2段階のTransformerベースのモデルCATSを提案する。CATSは、マルチタスク学習の枠組みを通じて、文のつながりを明示的にモデル化することで、テキストセグメンテーションの性能を向上させる。文レベルのセグメンテーションと、元の文の順序とシャッフルされた順序を区別するタスクを同時に最適化することで、ベンチマークデータセット上で最先端の性能を達成し、翻訳的単語埋め込みを用いたゼロショットのクロスリンガル転送を可能にする。

ABSTRACT

Breaking down the structure of long texts into semantically coherent segments makes the texts more readable and supports downstream applications like summarization and retrieval. Starting from an apparent link between text coherence and segmentation, we introduce a novel supervised model for text segmentation with simple but explicit coherence modeling. Our model -- a neural architecture consisting of two hierarchically connected Transformer networks -- is a multi-task learning model that couples the sentence-level segmentation objective with the coherence objective that differentiates correct sequences of sentences from corrupt ones. The proposed model, dubbed Coherence-Aware Text Segmentation (CATS), yields state-of-the-art segmentation performance on a collection of benchmark datasets. Furthermore, by coupling CATS with cross-lingual word embeddings, we demonstrate its effectiveness in zero-shot language transfer: it can successfully segment texts in languages unseen in training.

研究の動機と目的

• 従来のテキストセグメンテーションモデルが、語彙的・意味的類似性を通じてのみつながりを暗黙的に捉えるのに対し、明示的につながりをモデル化するという限界を是正すること。
• 元の文の順序と破損（シャッフルされた）順序を区別する補助的つながり目的を導入することで、セグメンテーションの性能を向上させること。
• 英語データのみで訓練されたモデルを用い、翻訳的単語埋め込みを活用することで、低リソース言語や未学習言語においてもゼロショットの言語転送を可能にすること。
• 明示的なつながりモデリングが、ドメインや言語をまたいでセグメンテーションの正確性と頑健性を向上させることを示すこと。

提案手法

• モデルは2段階のTransformerアーキテクチャを採用する：トークンレベルのTransformerが個々の文をエンコードし、文レベルのTransformerが文表現の系列をエンコードする。
• 文脈に応じた文表現に基づいて、フィードフォワード分類器を用いて文レベルで二値セグメンテーション予測を実行する。
• 補助的つながりレグレッサーが、スニペット全体のつながりスコアを予測し、元の文の順序に対して高いスコアを割り当てるように学習する。
• マルチタスク学習により、主なセグメンテーション目的と補助的つながり目的を同時に最適化する。
• アーキテクチャは、事前学習済み単語埋め込みと位置埋め込みを連結し、文表現はトークンレベルのTransformerにおける[CLS]-に類似するトークン表現から導出される。
• ゼロショット転送のため、モデルは翻訳的単語埋め込みと組み合わせられ、微調整なしに未学習言語でのセグメンテーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的なつながりモデリングは、暗黙のつながり信号を超えてテキストセグメンテーションの性能を向上させることができるか？
• RQ2 セグメンテーションとつながり予測を組み合わせたマルチタスク学習の枠組みは、より良い一般化性と頑健性をもたらすか？
• RQ3 英語データのみで訓練されたモデルが、翻訳的単語埋め込みを用いて、低リソース言語や未学習言語のテキストをセグメンテーションできるか？
• RQ4 複数のベンチマークで、本モデルの性能は最先端の教師ありおよび教師なしセグメンテーション手法と比較してどうなるか？

主な発見

• CATSは、複数のベンチマークテキストセグメンテーションデータセットで最先端の性能を達成し、先行する教師ありモデルを上回る。
• 補助的つながり目的は、推論時に使用されない場合でも、ベースのTwo-Level Transformer (TLT-TS) モデルを上回るセグメンテーション性能を著しく向上させる。
• TLT-TSモデル自体は、つながりヘッドがなくてもすでに最先端の結果を達成しており、2段階のTransformerアーキテクチャの有効性を示している。
• CATSは、効果的なゼロショットクロスリンガルセグメンテーションを実現する：翻訳的単語埋め込みと組み合わせると、未学習言語においても最良の教師なしモデルを上回る。
• モデルはドメイン転送において強く頑健であり、多様なテキストタイプやドメインにおいても高い性能を維持する。