[論文レビュー] Exploring text datasets by visualizing relevant words

Franziska Horn, Leila Arras+3 more|arXiv (Cornell University)|Jul 17, 2017

Topic Modeling参考文献 11被引用数 8

ひとこと要約

本稿では、テキストデータセットからの「関連語」をワードクラウドで可視化することで、探索的データ分析を加速する手法を提案する。tf-idf集約、層別重要度プロパゲーション（LRP）、および新規の語頻度比スコアの3つの手法を比較し、クラスやクラスタごとの特徴語を特定する。その結果、頻度比法が科学的論文やニューヨーク・タイムズのスニペットから得られるトレンドトピックを最も効果的に明らかにすることが示された。

ABSTRACT

When working with a new dataset, it is important to first explore and familiarize oneself with it, before applying any advanced machine learning algorithms. However, to the best of our knowledge, no tools exist that quickly and reliably give insight into the contents of a selection of documents with respect to what distinguishes them from other documents belonging to different categories. In this paper we propose to extract `relevant words' from a collection of texts, which summarize the contents of documents belonging to a certain class (or discovered cluster in the case of unlabeled datasets), and visualize them in word clouds to allow for a survey of salient features at a glance. We compare three methods for extracting relevant words and demonstrate the usefulness of the resulting word clouds by providing an overview of the classes contained in a dataset of scientific publications as well as by discovering trending topics from recent New York Times article snippets.

研究の動機と目的

• テキストデータセット内の異なるクラスやクラスタに属する文書を区別する要因を素早く明らかにするツールの不足に対処すること。
• 複雑な機械学習モデルを適用する前段階で、データセットの内容を迅速かつ直感的に理解できるようにすること。
• 各クラスやクラスタに対して顕著で区別性のある語を特定・可視化し、探索的分析を支援すること。
• 関連語を抽出するための複数の手法を評価し、テキストデータにおける意味的な差を最もよく捉える手法を特定すること。
• ラベルありデータセット（例：科学的論文）およびラベルなしデータセット（例：最近のニューススニペット）の両方において、トレンド検出に有効であることを示すこと。

提案手法

• トークン化、ストップワードの除去、tf-idf特徴ベクトルへの変換により、テキストデータを前処理する。
• 関連語を抽出するために3つの手法を適用：(1) クラスごとのtf-idfスコアを合算、(2) 分類器スコアを入力特徴に帰属づけるために層別重要度プロパゲーション（LRP）を用いる、(3) ターゲットクラスと他のクラスとの間の相対的頻度に基づいて語の重要度スコアを計算する。
• 各手法から上位ランクの関連語を用いて、各クラスやクラスタごとにワードクラウドを生成する。
• ラベルなしデータの場合、コサイン類似度の閾値0.55と最小クラスタサイズ3を用いてDBSCANを用いて文書をクラスタリングする。
• 分類決定の解釈やトレーニングデータのバイアスを検出するために、個々の文書内の関連語を強調表示する。
• 実験の再現と結果の可視化に、オープンソースのPythonライブラリ「textcatvis」を用いる。

実験結果

リサーチクエスチョン

• RQ1 どの手法が、特定のクラスに属する文書と他のクラスに属する文書を区別する語を最も信頼性高く特定できるか？
• RQ2 関連語に基づくワードクラウドは、完全なモデル訓練なしに、データセットの内容を直感的かつ高レベルで把握するのに有効か？
• RQ3 異なる語の重要度抽出手法は、ラベルなしニューステキストデータにおけるトレンドトピックを特定する上でどの程度効果的か？
• RQ4 関連語の可視化は、トレーニングデータのバイアスや誤分類を検出するのを支援できるか？
• RQ5 クラスサイズの不均衡や小さなクラスタを含むデータセットにおいて、各手法の性能はどのように変化するか？

主な発見

• ターゲットクラス内での相対的出現頻度に基づいて語の重要度を計算する頻度比法は、ラベルありおよびラベルなしの両方のデータセットにおける探索的分析において、tf-idf集約およびLRPを上回る性能を示した。
• 頻度比法を用いて生成されたワードクラウドは、2017年1月のニューヨーク・タイムズ記事スニペットにおいて、「inauguration（就任式典）」、「Trump（トランプ）」、「protest（抗議）」といった顕著なトピックを明確に明らかにした。
• この手法は、Betsy DeVosの閣僚指名やイタリアの雪崩といった現実の出来事に対応する明確なクラスタを、たとえ3件の文書しか含まないクラスタであっても正しく同定できた。
• LRPは、個々の分類決定の解釈や、誤分類に寄与する特徴を特定する点で最も効果的であり、特に訓練済みモデルにおいて顕著であった。
• tf-idf集約は、語が複数のクラスに共通して出現する場合、特にクラス固有の語を区別できなかった。
• このアプローチにより、人間が読みやすい形でデータセットの構造を迅速に理解でき、ワードクラウドは個々の文書を手動で確認する代替手段としてスケーラブルであることが示された。