[論文レビュー] Topic Independent Identification of Agreement and Disagreement in Social Media Dialogue

Amita Misra, Marilyn Walker|arXiv (Cornell University)|Sep 3, 2017

Speech and dialogue systems被引用数 5

ひとこと要約

本稿では、理論的根拠を持つ言語的特徴を用いて、トピックに依存しないアプローチでソーシャルメディアの対話における賛成と反論を同定することを提案する。本研究では、反論（不同意）を検出する際、unigramベースラインより6パーセンテージポイント高い66％の正確性を達成し、ヘッジ、否定、話法的マーカーなどの特徴が、オンラインフォーラムにおける多様なトピックにおいて、一貫して不同意を示すものであることが示された。

ABSTRACT

Research on the structure of dialogue has been hampered for years because large dialogue corpora have not been available. This has impacted the dialogue research community's ability to develop better theories, as well as good off the shelf tools for dialogue processing. Happily, an increasing amount of information and opinion exchange occur in natural dialogue in online forums, where people share their opinions about a vast range of topics. In particular we are interested in rejection in dialogue, also called disagreement and denial, where the size of available dialogue corpora, for the first time, offers an opportunity to empirically test theoretical accounts of the expression and inference of rejection in dialogue. In this paper, we test whether topic-independent features motivated by theoretical predictions can be used to recognize rejection in online forums in a topic independent way. Our results show that our theoretically motivated features achieve 66% accuracy, an improvement over a unigram baseline of an absolute 6%.

研究の動機と目的

• 理論的根拠に基づく言語的特徴を用いて、トピックに依存しないオンライン対話における不同意検出のための手法を開発すること。
• ポリテンス理論、否定、話法的関係から導かれる特徴が、ソーシャルメディアにおける多様なトピックにわたって一般化可能かどうかを検証すること。
• ヘッジ、否定、対比的マーカーなどのシグナルを統合することで、ベースラインモデルを改善すること。
• 特定のドメインに限定されない、一般化可能な拒否検出のための堅牢な分類器を提供すること。

提案手法

• 研究は、トレーニングおよびテストデータセットとしてインターネット・アーギュメント・コーパス（IAC）を用い、17のトピックにまたがる1757件の投稿に焦点を当てる。
• 特徴は理論的枠組みから導出される：ヘッジ（例：'I don’t see'）、否定（例：'but'、'only'）、極性、標点、否定／主張マーカー。
• 開発セットとして『進化』というトピックに焦点を当てた教師あり分類モデルを学習し、残りの17のトピックからなる1757件の投稿でテストした。
• キーワード、文構造、話法的マーカーを含む、複数の理論的根拠に基づく特徴を組み合わせ、拒否を検出する。
• 性能はunigramベースラインと比較され、F-measureおよび正確性の指標を用いて、先行研究と照合された。
• 誤差解析により、相互の拒否の事例が特定され、今後の改善のための構文解析と自動パターン一般化の必要性が示唆された。

実験結果

リサーチクエスチョン

• RQ1 理論的根拠に基づく言語的特徴は、トピックに依存せずにオンライン対話における不同意を検出可能か？
• RQ2 ヘッジ、否定、対比的マーカーなどの特徴は、多様なソーシャルメディアのトピックにおいて、一貫して拒否を示すか？
• RQ3 話法理論に基づくトピックに依存しない分類器は、unigramベースラインと比較して、不同意検出においてどのように異なるか？
• RQ4 特定の言語的シグナル（例：'I don’t see'、'but'、'can you'）は、不同意分類器全体の性能にどの程度寄与しているか？

主な発見

• 提案されたトピックに依存しない分類器は、不同意の同定において66％の正確性を達成し、unigramベースラインより6パーセンテージポイント高い。
• ヘッジ、否定、対比的マーカーなどの理論的根拠に基づく特徴の組み合わせは、ベースラインモデルを著しく上回る。
• 'I don’t see'、'but'、'can you'、および標点のパターン（例：複数の感嘆点）は、トピックを問わず不同意の強力な指標である。
• モデルは17の異なるトピックにわたって効果的に一般化され、トピックの変動に対して堅牢であることが示された。
• 誤差解析により、相互の拒否を区別する能力の制限が明らかになり、今後の研究においてより深い構文解析の必要性が示唆された。
• 本研究は、ポリテンス理論および否定理論からの話法的特徴が、オンライン対話における拒否の信頼できる予測因子であることを確認した。