[論文レビュー] Interpreting the Syntactic and Social Elements of the Tweet Representations via Elementary Property Prediction Tasks

J Ganesh, Manish Gupta+1 more|arXiv (Cornell University)|Nov 15, 2016

Topic Modeling参考文献 10被引用数 3

ひとこと要約

本稿は、構文的（例：長さ、語順、スラング、ハッシュタグ、固有表現）および社会的（例：返信状態、返信時刻）属性をプローブすることで、ツイート表現の解釈を目的とした、基本的な性質予測タスクのセットを導入する。9つの教師なしモデルおよび4つの教師ありモデルを用いて分析した結果、BLSTM や LSTM といった再帰的モデルが構文的および社会的特徴を最もよく捉えていることが判明した一方、順序情報の損失を伴うにもかかわらず、BOW は語順予測において驚くべきほど優れた性能を示した。

ABSTRACT

Research in social media analysis is experiencing a recent surge with a large number of works applying representation learning models to solve high-level syntactico-semantic tasks such as sentiment analysis, semantic textual similarity computation, hashtag prediction and so on. Although the performance of the representation learning models are better than the traditional baselines for the tasks, little is known about the core properties of a tweet encoded within the representations. Understanding these core properties would empower us in making generalizable conclusions about the quality of representations. Our work presented here constitutes the first step in opening the black-box of vector embedding for social media posts, with emphasis on tweets in particular. In order to understand the core properties encoded in a tweet representation, we evaluate the representations to estimate the extent to which it can model each of those properties such as tweet length, presence of words, hashtags, mentions, capitalization, and so on. This is done with the help of multiple classifiers which take the representation as input. Essentially, each classifier evaluates one of the syntactic or social properties which are arguably salient for a tweet. This is also the first holistic study on extensively analysing the ability to encode these properties for a wide variety of tweet representation models including the traditional unsupervised methods (BOW, LDA), unsupervised representation learning methods (Siamese CBOW, Tweet2Vec) as well as supervised methods (CNN, BLSTM).

研究の動機と目的

• ツイート表現に埋め込まれた基本的な構文的および社会的性質を理解し、高水準のタスクパフォーマンスを超えて解明すること。
• ニューラルツイート表現モデルの不透明性を解消するために、細分化され、アプリケーションに依存しないプロービングタスクを導入すること。
• 複数のツイート固有の内在的性質に対して、従来型、教師なし、教師ありの表現学習モデルを比較すること。
• モデルアーキテクチャおよび学習目的が、短く非公式なテキストにおける構造的および社会的特徴の符号化にどのように影響するかを調査すること。

提案手法

• 8つの基本的性質予測タスクを定義：ツイート長、コンテンツ存在、語順、スラング正規化、ハッシュタグ検出、固有表現認識、返信状態、返信時刻。
• ツイート表現から各性質を予測するため、2層のニューラルネットワーク分類器（表現 + ソフトマックス）を用いる。
• 各タスクにおいて、バランスの取れた訓練データを構築するために、ネガティブサンプリングまたはビニング戦略を適用する（例：ツイート長を4語ごとのグループにビニング）。
• 複数の入力が関与する場合（例：語順の場合は2語の表現を連結）には、埋め込みを連結する。
• 13のモデルを評価：9つの教師なしモデル（BOW, LDA, BOM, DSSM, CDSSM, PV, STV, SCBOW, T2V）および4つの教師ありモデル（CNN, LSTM, BLSTM, FT）。
• F1スコアを用いてモデル間およびタスク間のパフォーマンスを比較し、語順およびツイート長への感受性を分析する。

実験結果

リサーチクエスチョン

• RQ1 異なるツイート表現モデルに、どの構文的および社会的性質が効果的に符号化されているか？
• RQ2 教師ありモデルと教師なしモデルは、基本的ツイート性質の保持能力においてどのように異なるか？
• RQ3 どの表現モデルにおいて語順がどの程度保持されているか、また、その保持度が順序に敏感なタスクのパフォーマンスにどのように影響するか？
• RQ4 ツイート長は、異なるモデルにおける基本的性質の予測精度にどのように影響するか？
• RQ5 基本的性質タスクにおけるパフォーマンスは、ユーザープロファイリングや会話モデリングなどの下流のソーシャルメディアアプリケーションにおけるモデルの適性を予測できるか？

主な発見

• BLSTM は「固有表現」タスクで最高の F1 スコア（92.76%）を達成し、T2V などの専用モデルでさえも上回った。
• LSTM および BLSTM は「長さ」と「返信状態」タスクで F1 スコアが 99% を超え、ツイート長および社会的構造の符号化が強く行われていることが示された。
• BOW は「語順」タスクで驚くべきほど高い性能（F1 = 99.79%）を示し、語の頻度パターンと順序構造との強い相関性を示唆した。
• LDA は語順に不変であり、期待通り語順タスクでほぼゼロのパフォーマンス（F1 < 10）を示した。これは、袋モデル（bag-of-words）の仮定に合致する。
• CNN、LSTM、BLSTM は語順に非常に感受性が高く、語順が逆転するとパフォーマンスが著しく低下した。
• STV や T2V のようなモデルは大多数のタスクで低性能を示し、T2V はベースラインモデルでさえも下回った。これは、事前学習段階でハッシュタグ予測に過剰適合したためと考えられる。