[論文レビュー] Semi-supervised and Unsupervised Methods for Categorizing Posts in Web Discussion Forums

Krish Perumal|arXiv (Cornell University)|Apr 1, 2016

Topic Modeling参考文献 17被引用数 3

ひとこと要約

本稿では、語彙および品詞（POS）確率分布に加え、手作業で設計された特徴を活用する非教師ありおよび弱教師ありの系列モデルを、Hidden Markov Models（HMMs）に基づいて提案する。このモデルは、問題、解決策、フィードバック、スパムなどのフォーラム投稿を分類することを目的としている。弱教師ありバージョンは、少数のラベル付き例を用いてモデルの事前分布を初期化するが、非教師ありベースラインおよび最先端の手法を著しく上回り、特に問題や解決策といった高頻度カテゴリにおいて顕著な性能向上を示している。

ABSTRACT

Web discussion forums are used by millions of people worldwide to share information belonging to a variety of domains such as automotive vehicles, pets, sports, etc. They typically contain posts that fall into different categories such as problem, solution, feedback, spam, etc. Automatic identification of these categories can aid information retrieval that is tailored for specific user requirements. Previously, a number of supervised methods have attempted to solve this problem; however, these depend on the availability of abundant training data. A few existing unsupervised and semi-supervised approaches are either focused on identifying a single category or do not report category-specific performance. In contrast, this work proposes unsupervised and semi-supervised methods that require no or minimal training data to achieve this objective without compromising on performance. A fine-grained analysis is also carried out to discuss their limitations. The proposed methods are based on sequence models (specifically, Hidden Markov Models) that can model language for each category using word and part-of-speech probability distributions, and manually specified features. Empirical evaluations across domains demonstrate that the proposed methods are better suited for this task than existing ones.

研究の動機と目的

• 最小限または完全にラベルなしの学習データでフォーラム投稿分類の課題に取り組むこと。
• 多様なドメインや投稿タイプに耐性を持つ非教師ありおよび弱教師あり手法を開発すること。
• 言語的構造と文脈特徴を統合することで、従来の教師ありおよび弱教師ありアプローチを上回る性能を実現すること。
• 完全に非教師ありモデルが複雑なフォーラム投稿の意味を捉える能力に限界を示すことを評価すること。
• スレッド付きディスカッションにおける文単位分類および高階の依存関係の可能性を検討すること。

提案手法

• 語彙および品詞（POS）確率に基づいて、各カテゴリごとの言語パターンをモデル化するためのHidden Markov Models（HMMs）を用いた系列モデリングフレームワークを提案する。
• 少数のラベル付きスレッドを用いてモデルの事前分布を初期化する、新しい弱教師ありHMMの変種を導入し、分類精度を向上させる。
• 語彙的キュー、構文的パターンなどの手作業で指定された特徴をHMMフレームワークに統合することで分類性能を向上させる。
• 非教師あり設定において投稿埋め込み（post embeddings）を用いるが、POSおよび特徴ベースのモデルと比較して性能向上は明確でない。
• カテゴリマッピングのための二段階アプローチを採用：HMMによる投稿のクラスタリング、その後、ヒューリスティクスまたは少数のラベル付きデータを用いたクラスタから事前定義されたカテゴリへのマッピング。
• 問題-解決ヒューリスティクスをベースラインとして導入し、提案手法との性能比較を通じて性能向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 完全にラベルなしの状態で、非教師ありHMMベースのモデルがフォーラム投稿を効果的に分類できるか？
• RQ2 POSタグと手作業で設計された特徴を統合することで、非教師あり投稿分類の性能はどの程度向上するか？
• RQ3 弱教師ありHMMフレームワークで少数のラベル付き例を用いることで、完全に非教師あり手法と比較して分類精度はどの程度向上するか？
• RQ4 なぜ完全に非教師ありモデルは、自明なベースラインを上回るものの、実用的な性能に至らないのか？
• RQ5 文単位分類や高階のマルコフモデルは、スレッド付きディスカッションにおける逐次的依存関係をよりよく捉えられるか？

主な発見

• 少数のラベル付きスレッドを用いて事前分布を初期化した弱教師ありHMMは、すべての非教師ありベースラインを上回り、特に問題や解決策カテゴリで優れた性能を示した。
• POSタグと手作業特徴を併用した非教師ありHMMは、単に語彙確率のみを用いるモデルや投稿埋め込みを用いるモデルよりも高い精度を達成した。
• 提案された弱教師あり手法は、特に複雑で複数カテゴリにまたがるスレッドにおいて、問題-解決ヒューリスティクスベースラインを著しく上回った。
• Clarification-Request や Clarification といったマイノリティカテゴリでは性能が低く、F1スコアの最大値が0.30未満にとどまり、実用的意義に欠けることが示された。
• 投稿埋め込みの使用は、特徴強化モデルと比較して明確な性能向上をもたらさなかったため、この文脈では言語的特徴が分布的表現（distributional representations）よりも効果的であると考えられる。
• 1次HMMでは、たとえば「問題」の後に「解決策」が続くようなカテゴリ間の高階依存関係を捉えられていないため、現在のモデルアーキテクチャの主要な限界が浮き彫りになった。