[論文レビュー] Mining Discourse Markers for Unsupervised Sentence Representation Learning

Damien Sileo, Tim Van de Cruys+2 more|arXiv (Cornell University)|Mar 28, 2019

Topic Modeling参考文献 47被引用数 30

ひとこと要約

この論文は、大規模なウェブスケールテキストから教師なしで話題の接続語を自動的に発見する手法を提案し、1つの例あたり少なくとも1万件の例を持つ174の話題の接続語から構成される大規模データセットを構築した。この手法は、パターンに基づくヒューリスティクスと分布的クラスタリングを用いて、明示的な話題の接続語を含む文のペアを抽出し、それらを用いて文の埋め込みを学習する。その結果、転移タスクで最先端の性能を達成したが、モデルは文間の意味的関係よりも単語的ヒントに依存しているように見える。

ABSTRACT

Current state of the art systems in NLP heavily rely on manually annotated datasets, which are expensive to construct. Very little work adequately exploits unannotated data -- such as discourse markers between sentences -- mainly because of data sparseness and ineffective extraction methods. In the present work, we propose a method to automatically discover sentence pairs with relevant discourse markers, and apply it to massive amounts of data. Our resulting dataset contains 174 discourse markers with at least 10k examples each, even for rare markers such as coincidentally or amazingly We use the resulting data as supervision for learning transferable sentence embeddings. In addition, we show that even though sentence representation learning through prediction of discourse markers yields state of the art results across different transfer tasks, it is not clear that our models made use of the semantic relation between sentences, thus leaving room for further improvements. Our datasets are publicly available (https://github.com/synapse-developpement/Discovery)

研究の動機と目的

• 手動でアノテートされたNLPデータセットの不足とバイアスを解消するために、アノテートされていない話題の接続語を監視信号として活用すること。
• 従来の研究が小規模で事前に定義された接続語リストに依存していたという制限を克服し、大規模なテキストから広範かつ多様な話題の接続語を自動的に発見すること。
• 話題の接続語予測が、単に表面的な語彙的ヒントに依存しているのではなく、文間の意味的関係を本当に捉えているかどうかを評価すること。
• 文の埋め込みの学習や評価に使用可能な、公開可能な大規模データセットとして、話題の接続語がアノテートされた文のペアのデータセットを構築すること。
• 話題の接続語で学習されたモデルが、背後にある意味的関係を利用しているのか、それとも単に語彙的パターンを巧みに利用しているのかを調査すること。

提案手法

• この手法は、句構造的および分布的パターンの組み合わせを用いて、話題の接続語を含む文のペアを特定し、依存解析と共起統計を活用する。
• 意味的に類似した話題の接続語をグループ化するクラスタリング手法を適用することで、希少語や複数語の接続語の発見を可能にする。
• パターンマッチングパイプラインを用いて、文構造のテンプレートと接続語周辺の語彙的ヒントに基づき、候補となる文のペアを抽出する。
• 得られたデータセットには、174の話題の接続語が含まれており、1つあたり少なくとも10,000件の例がある。稀な接続語（例：'coincidentally' や 'amazingly'）に対しても同様に成立する。
• 文の埋め込みは、対となる文のペアに対して、候補の話題の接続語の中から正しいものをモデルが予測するという対照的学習の目的関数を用いて学習する。
• モデルが文の関係性に依存しているのか、それとも単に語彙的特徴に依存しているのかを調べるため、シャッフル摂動技術を導入する。

実験結果

リサーチクエスチョン

• RQ1 アノテートされていないテキストから、希少語や複数語の接続語を含め、大規模に話題の接続語を自動で発見できるか？
• RQ2 話題の接続語予測を用いて文の表現を学習することで、従来の教師なし手法と比較して、より優れた転移性能が得られるか？
• RQ3 話題の接続語で学習されたモデルが、文間の意味的関係にどれほど依存しているのか、それとも単純な語彙的パターンに依存しているのか？
• RQ4 話題の接続語予測による性能向上は、高レベルの推論によるものか、それとも表面的な手がかりによるものか？
• RQ5 「簡単な」例（明白な語彙的ヒントを含む例）を含めることで、文の表現の一般化性能にどのような影響を与えるか？

主な発見

• この手法は、174の話題の接続語を効果的に発見し、1つあたり少なくとも10,000件の例が確保された。希少語（例：'coincidentally' や 'amazingly'）に対しても同様に成立し、従来のデータセットを著しく拡張した。
• 得られた文の埋め込みは、SentEvalベンチマークの14の転移学習タスクのうち12つで最先端の性能を達成し、InferSent や QuickThought などのモデルを上回った。
• このデータセットで学習されたモデルは、粗い粒度のPDTBの暗黙的話題関係タスクで52.5％の正確度を達成し、以前の手法を上回った。
• 訓練中に文の順序をシャッフルしても性能にほとんど影響がなかったため、モデルは文間の意味的関係よりも語彙的特徴に依存していることが示された。
• 「簡単な」例（明白な語彙的ヒントを含む例）を除去すると、転移性能が著しく低下したため、このような例が一般化性能にとって不可欠であることが示された。
• 最先端の結果を達成したものの、分析の結果、モデルが文間の意味的関係を意味的に活用しているとは言えず、関係に配慮した表現学習の分野には改善の余地が残っていることが明らかになった。