[論文レビュー] Inducing Distant Supervision in Suggestion Mining through Part-of-Speech Embeddings

Sapna Negi, Paul Buitelaar|arXiv (Cornell University)|Sep 21, 2017

Natural Language Processing Techniques参考文献 5被引用数 9

ひとこと要約

本稿では、wikiHow と Wikipedia から得た大規模なシルバースタンダードデータセットを用いて、提案抽出のための2つの遠隔教師付きアプローチを提案する。部分品詞（POS）埋め込み表現を導入し、語彙が限定的であるにもかかわらず、従来の語彙埋め込み表現を上回る性能を示し、F1スコアが最高に達した。これは、構文的特徴が語彙的特徴よりも、提案文分類において予測力が優れていることを示している。

ABSTRACT

Mining suggestion expressing sentences from a given text is a less investigated sentence classification task, and therefore lacks hand labeled benchmark datasets. In this work, we propose and evaluate two approaches for distant supervision in suggestion mining. The distant supervision is obtained through a large silver standard dataset, constructed using the text from wikiHow and Wikipedia. Both the approaches use a LSTM based neural network architecture to learn a classification model for suggestion mining, but vary in their method to use the silver standard dataset. The first approach directly trains the classifier using this dataset, while the second approach only learns word embeddings from this dataset. In the second approach, we also learn POS embeddings, which interestingly gives the best classification accuracy.

研究の動機と目的

• 提案抽出のための大規模で手作業ラベルが付与されたデータセットの不足という、強力な分類器を訓練する上で大きな障壁となっている問題に対処すること。
• wikiHow（肯定例）とWikipedia（否定例）の文から自動的に構築された大規模な自動構築シルバースタンダードデータセットを用いた遠隔教師付き学習の検討。
• シルバースタンダードデータセットから学習したPOS埋め込み表現が、従来の語彙埋め込み表現よりも分類性能を向上させるかの評価。
• 語レベルの表現とは独立して、学習済み埋め込み表現を用いた部分品詞タグのみを入力特徴として用いる場合の有効性の調査。
• 提案手法の多様なドメイン（旅行、ソフトウェア、ホテルレビューなど）への一般化能力の評価。

提案手法

• wikiHow（提案文としてラベル付け済み）とWikipedia（非提案文としてラベル付け済み）の文を抽出することで、大規模なシルバースタンダードデータセット（Wiki Suggestion Dataset）を構築する。
• 2つの異なるアプローチを用いて、双方向LSTMベースの分類器を訓練する：(1) 語彙埋め込みを用いてシルバースタンダードデータセットを直接訓練する方法、(2) シルバースタンダードデータセットから語彙およびPOS埋め込み表現を学習し、それを入力特徴として用いる方法。
• シルバースタンダードデータセットから50次元のPOS埋め込み表現（WiSE_p）を学習し、各POSタグをトークンとして扱って、ニューラルネットワークの入力特徴として使用する。
• 複数のテストデータセットで、事前学習済みGloVe語彙埋め込み表現、自己学習語彙埋め込み表現（WiSE_w）、およびPOS埋め込み表現（WiSE_p）の性能を比較する。
• t-SNEを用いた次元削減により、LSTMの最終層からの文表現を可視化し、GloVeとWiSE_p埋め込み表現のクラスタリングパターンを比較する。
• ホテル、旅行、ソフトウェアのドメインに跨るテストセットを用いてモデルを評価し、学習済み表現の一般化能力と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 wikiHow と Wikipedia から自動的に構築された大規模なシルバースタンダードデータセットが、提案抽出のための遠隔教師付き学習の出発点として効果的であるか？
• RQ2 シルバースタンダードデータセットから学習したPOS埋め込み表現が、語彙埋め込み表現よりも分類性能を向上させるか？
• RQ3 語彙埋め込み表現とは独立して、部分品詞タグのみを用いた文（POS埋め込み表現を用いた）で訓練された分類器の性能は、完全な語の表現を用いたものと比べてどうか？
• RQ4 POS埋め込み表現は、言語的スタイルや提案表現のパターンが異なる多様なドメインにどの程度一般化できるか？
• RQ5 語彙サイズが著しく小さいにもかかわらず、なぜPOS埋め込み表現が語彙埋め込み表現を上回る性能を示すのか？

主な発見

• POS埋め込み表現ベースのアプローチ（WiSE_p）は、すべてのテストデータセットで最高のF1スコアを達成し、語彙埋め込みベースラインおよび直接学習アプローチを上回った。
• ホテルレビューのテストデータセットでは、WiSE_pモデルがF1スコア0.53を達成し、GloVeベースのモデルを上回り、ドメインシフトに対しても頑健であることが示された。
• POS埋め込み表現の使用により、t-SNE可視化においてよりコンパクトで一貫性のある文表現が得られ、肯定例に対しては2つの主要なクラスタが形成された。これは、構文的一般化が良好であることを示唆している。
• WiSE_p埋め込み表現を用いた場合、wikiデータセット全体を学習に用いても性能向上が顕著に見られず、むしろ小さなドメイン特化型のサブセットでも効果的なPOS表現が得られることを示している。
• WiSE_w（語彙埋め込み表現）モデルは、トレーニングデータセットとテストデータセットの語彙オーバーラップが低いため、性能が著しく低かった。これは、低リソース環境下での語彙レベルの埋め込み表現の限界を示している。
• 結果から、POS埋め込み表現によって符号化された構文的構造が、語彙的コンテンツよりも、提案文を特定するためのより信頼性の高いシグナルであることが示唆された。