[論文レビュー] Challenges for Open-domain Targeted Sentiment Analysis

Luo Yun, Hongjie Cai+4 more|arXiv (Cornell University)|Apr 14, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、6つの多様な分野にまたがる6,013件の人的ラベル付文書を含む、新しいオープンドメイン指向センチメント分析データセットを紹介する。文のレベルにとどまらず、ネストされたターゲットアノテーションスキーマを用いて文書レベルのセンチメント抽出を実現する。エンドツーエンドの生成を目的としたシーケンス・ツー・シーケンス型BARTベースのモデルを採用し、長文処理、複雑なターゲット構造、分野のばらつきといった顕著な課題が明らかになった。最高性能の事前学習モデルを用いても、ベンチマーク結果は依然として大幅な改善余地を示している。

ABSTRACT

Since previous studies on open-domain targeted sentiment analysis are limited in dataset domain variety and sentence level, we propose a novel dataset consisting of 6,013 human-labeled data to extend the data domains in topics of interest and document level. Furthermore, we offer a nested target annotation schema to extract the complete sentiment information in documents, boosting the practicality and effectiveness of open-domain targeted sentiment analysis. Moreover, we leverage the pre-trained model BART in a sequence-to-sequence generation method for the task. Benchmark results show that there exists large room for improvement of open-domain targeted sentiment analysis. Meanwhile, experiments have shown that challenges remain in the effective use of open-domain data, long documents, the complexity of target structure, and domain variances.

研究の動機と目的

• 従来のオープンドメイン指向センチメント分析データセットが、レストラン、ラップトップ、Twitterレビューなどに限定された文のレベル分析にとどまっているという限界を是正すること。
• 文のレベル処理で失われる共参照関係や話法的関係を捉えるために、文書レベルの入力を対象とした指向センチメント分析の範囲を拡張すること。
• 『イタリアンレストラン』と『価格』のようなターゲット間の関係を含む、複雑で階層的なセンチメント構造を捉えることができるネストされたターゲットアノテーションスキーマを導入することで、実用性を向上させること。
• 実際の多様で長いテキスト条件下で、BARTのような事前学習済みシーケンス・ツー・シーケンスモデルのエンドツーエンドのオープンドメイン指向センチメント分析における有効性を評価すること。
• 分野のばらつき、長文の複雑さ、構造的ターゲットの曖昧さといった、オープンドメインセンチメント分析における継続的な課題を特定すること。

提案手法

• 6つの分野（書籍、衣料品、レストラン、ホテル、ニュース、PhraseBank）にまたがる6,013件の人的ラベル付文書を含む新しいデータセットを提案。各分野は多様な言語的ジャンルと文書長さを有する。
• ターゲット間の階層的・関係的構造（例：『イタリアンレストラン』が『価格』や『料理』に影響を与える）を捉えることができる、ネストされたターゲットアノテーションスキーマを導入。
• 事前学習済みBARTモデルを用いて、文書を入力とし、(ターゲット, センチメント)ペアの構造化されたリストを出力とする、シーケンス・ツー・シーケンス生成タスクとしてオープンドメイン指向センチメント分析を定式化。
• パイプライン型とジョイントモデリングの両方を採用：パイプライン型はターゲット抽出とセンチメント分類を分離して処理するが、ジョイントモデルは1回の生成ステップで両方のタスクをエンドツーエンドで実行する。
• 相互ラベル付け合意度を評価するため、マイクロ-F1とカッパ係数を用い、ターゲット密度が異なる分野においても高品質なラベル付けを保証。
• アブレーションスタディおよび事例分析を通じて、平均ターゲット数や構造的複雑さが異なる分野におけるモデル性能を比較。

実験結果

リサーチクエスチョン

• RQ1 従来の文のレベルデータセットにとどまらない、多様で現実世界の文書分野におけるオープンドメイン指向センチメント分析モデルの性能は、どのように変動するか？
• RQ2 従来のスパンベースのラベリングに比べ、ネストされたターゲットアノテーションスキーマは、複雑で階層的なセンチメント関係をどの程度よく捉えられるか？
• RQ3 長文および高ターゲット密度を扱う状況において、パイプライン型とジョイントモデリングアプローチの性能と頑健性は、どのように比較されるか？
• RQ4 事前学習済みシーケンス・ツー・シーケンスモデルをオープンドメイン指向センチメント分析に適用するにあたり、共参照解消やセンチメント集約に関して、どのような主な課題が生じるか？
• RQ5 分野固有のばらつきや文書長さは、オープンドメイン設定におけるセンチメント分析モデルの一般化能力と信頼性に、どのように影響を与えるか？

主な発見

• 提案されたデータセットは、1文書あたり1.23件のターゲット（PhraseBank）から5.03件（レストラン）までの多様なターゲット密度を有する6つの分野をカバーし、現実世界の文書の複雑さを反映している。
• 平均ターゲット数が少ない分野（例：書籍、1文書あたり2.50件）ではジョイントモデルがパイプラインモデルを上回るが、ターゲット数が多い分野（例：レストラン、1文書あたり5.03件）ではパイプラインモデルが優れている。
• ベンチマーク結果から顕著な性能格差が示され、最高性能の事前学習モデルを用いても、オープンドメイン指向センチメント分析は依然として挑戦的なタスクであり、大幅な改善余地があることが明らかになった。
• 事例分析から、モデルが代名詞の解消（例：『they』や『it』が何を指しているかを正しく特定できない）に失敗し、特にターゲット密度が高い場合に複雑な関係的センチメント構造を漏れてしまうことが判明した。
• オープンドメインデータの有効活用、長文処理、複雑なターゲット構造の管理、分野のばらつきへの一般化といった課題が依然として存在することが確認された。
• 相互ラベル付け合意度は高く（大多数の分野でF1 > 70%）、人的ラベル付けされたデータセットの質と一貫性が裏付けられた。