[論文レビュー] Goal Driven Discovery of Distributional Differences via Language Descriptions

Ruiqi Zhong, Peter Zhang+4 more|arXiv (Cornell University)|Feb 28, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、ユーザーが指定した探索目的に従って、2つのテキストコーパス間の関連する差異を自動で発見する、D5という目的駆動型自然言語生成タスクを紹介する。診断用ベンチマーク（SynD5）と実世界のメタデータセット（OpenD5）を用いて、言語モデルが妥当で目的に即した発見を生成できることを示した。非目的条件付きベースラインと比較して、関連性が31%向上し、正確性が12%向上した。また、医療、政治、NLPの分野において、新たなインサイトを明らかにした。

ABSTRACT

Mining large corpora can generate useful discoveries but is time-consuming for humans. We formulate a new task, D5, that automatically discovers differences between two large corpora in a goal-driven way. The task input is a problem comprising a research goal "$ extit{comparing the side effects of drug A and drug B}$" and a corpus pair (two large collections of patients' self-reported reactions after taking each drug). The output is a language description (discovery) of how these corpora differ (patients taking drug A "$ extit{mention feelings of paranoia}$" more often). We build a D5 system, and to quantitatively measure its performance, we 1) contribute a meta-dataset, OpenD5, aggregating 675 open-ended problems ranging across business, social sciences, humanities, machine learning, and health, and 2) propose a set of unified evaluation metrics: validity, relevance, novelty, and significance. With the dataset and the unified metrics, we confirm that language models can use the goals to propose more relevant, novel, and significant candidate discoveries. Finally, our system produces discoveries previously unknown to the authors on a wide range of applications in OpenD5, including temporal and demographic differences in discussion topics, political stances and stereotypes in speech, insights in commercial reviews, and error patterns in NLP models.

研究の動機と目的

• 探索的テキスト分析を、2つのコーパス間の意味のある差異を発見する目的駆動型自然言語生成タスク（D5）として形式化すること。
• テキストコーパスにおける開かれた、目的志向の発見のための標準化された評価の欠如に対処すること。
• ユーザーが指定した目的に基づいて妥当で関連性の高い発見を生成するシステムの開発と評価すること。
• D5システムの性能を合成的および実世界の問題の両方で評価できる診断的および開かれた評価フレームワーク（SynD5およびOpenD5）の構築。
• 大規模なテキストコーパスにおける分布的差異の自動的かつスケーラブルな発見を可能にし、人種的背景、政治的立場、NLPの誤差パターンなど、これまで未知のパターンの特定を可能にすること。

提案手法

• D5を自然言語生成タスクとして形式化：入力は目的と2つのコーパス分割（探索用および検証用）であり、出力は妥当で関連性のある差異を記述する自然言語の述語である。
• 1,000件の合成的D5問題を含み、差異の正解が分かっている診断用ベンチマークであるSynD5を構築し、発見の正確性を自動評価可能にする。
• 医療、社会科学、NLPなどの分野にまたがる675件の実世界的で開かれたD5問題を含む、440万件のテキストサンプルを含むメタデータセットOpenD5を構築。
• 探索目的を用いてコーパスの差異に関する仮説生成をガイドする、目的条件付き言語モデルを訓練および評価。
• 参照回答が不要なOpenD5を用いた自己教師あり学習法を設計し、妥当な仮説を生成する能力を向上させる。
• OpenD5出力のサブセットを手動で評価し、関連性と妥当性を検証することで、実世界での有用性に関する定性的な知見を提供。

Figure 1: Each problem in OpenD5 contains 1) a corpus pair, which has $\sim$ 17K samples on average and is partitioned into two halves called “exploration split” and “validation split”, and 2) a natural language description of the exploration goal, which also contains information about how the corpu

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、ユーザーが指定した目的に従って、2つのテキストコーパス間の差異について関連性があり妥当な発見を効果的に生成できるか？
• RQ2 目的条件付きのD5システムは、非目的条件付きベースラインと比較して、どの程度性能が向上するか？
• RQ3 D5システムは、実世界のコーパスにおいて、これまで未知の差異をどの程度発見できるか？
• RQ4 現在の評価指標は、多様性、因果的主張、熟練知識を要する発見を促進するのにどの程度限界があるか？
• RQ5 大規模なD5問題のリポジトリを用いた自己教師あり学習により、人為的アノテーションのない状況でも、生成された発見の妥当性を向上させることができるか？

主な発見

• 目的条件付きD5システムは、非目的条件付きベースラインと比較して、SynD5診断ベンチマーク上での既知の差異の回復において12%高い正確性を達成した。
• OpenD5メタデータセット上では、非目的条件付きベースラインと比較して、関連性のある候補発見を31%多く生成した。
• システムは、議論のトピックにおける人種的背景の差異、スピーチにおける政治的立場の差異、NLPモデルの誤差パターンなど、以前未知のパターンを発見した。
• 手動評価により、医療、ビジネス、ソーシャルメディアなど多様な分野で、意味的かつ文脈的に関連性のある発見を生成していることが確認された。
• 評価指標の限界が明らかになった：多様性を促進しない、因果的主張を評価できない、熟練知識を要する発見を扱えない。
• OpenD5を用いた自己教師ありファインチューニングにより、モデルの妥当な仮説生成能力が向上し、ゴールスタンダードのレファレンスが不要な学習の可能性が示された。

Figure 2: OpenD5 contains 675 problems. See citations in Appendix 23 .