[論文レビュー] Experiments on Generalizability of BERTopic on Multi-Domain Short Text

Muriël de Groot, Mohammad Aliannejadi+1 more|arXiv (Cornell University)|Dec 16, 2022

Text and Document Classification Technologies被引用数 11

ひとこと要約

本稿は、複数の分野にまたがる大学の授業評価から得られる短文テキストに対して、BERTopicの性能を評価し、LDAよりもトピックの整合性と多様性が優れていることを明らかにした。しかし、BERTopicのデフォルトのHDBSCANクラスタリングは文書の74％を外れ値として除外するため、著者らはこれをk-Meansに置き換えることを提案する。これにより、すべての文書を保持しつつ、高い性能と短文に対する頑健性を維持できる。

ABSTRACT

Topic modeling is widely used for analytically evaluating large collections of textual data. One of the most popular topic techniques is Latent Dirichlet Allocation (LDA), which is flexible and adaptive, but not optimal for e.g. short texts from various domains. We explore how the state-of-the-art BERTopic algorithm performs on short multi-domain text and find that it generalizes better than LDA in terms of topic coherence and diversity. We further analyze the performance of the HDBSCAN clustering algorithm utilized by BERTopic and find that it classifies a majority of the documents as outliers. This crucial, yet overseen problem excludes too many documents from further analysis. When we replace HDBSCAN with k-Means, we achieve similar performance, but without outliers.

研究の動機と目的

• 大学の複数の学部から得られる短文テキスト、例えば授業評価など、多様な分野にわたる文脈におけるBERTopicの一般化能力を評価すること。
• 短い多様な分野のテキストにおいて、BERTopicのトピックの整合性と多様性をベースラインのLDAモデルと比較すること。
• HDBSCANの外れ値検出が、すべての文書を分析しなければならない実世界の応用においてモデルの実用性に与える影響を調査すること。
• HDBSCANの代替としてk-Meansを提案し、外れ値の除外を回避しつつ性能を維持できるかを評価すること。

提案手法

• 本研究では、5つの大学学部から得られた62,522件の短い学生のフィードバックを対象に、HDBSCANを用いたBERTopicとLDA、およびk-Meansを用いたBERTopicを比較した。
• トピックの整合性は正規化されたポイントワイズ相互情報量（NPMI）を用いて測定され、トピックの多様性はすべてのトピックにおける上位-n語に含まれる固有語の割合として計算された。
• 実験は、学部別コロナと統合された大学全体のコロナの両方で実施され、スケーラビリティとドメイン一般化能力を評価した。
• さらに、20NGデータセットを用いた追加実験も実施され、短い（中央値16語）および長い（60〜100語）文書サンプルを用いて、文書長さへの感受性を評価した。
• HDBSCANの外れ値検出は、さまざまなコロナにおける外れ値としてラベル付けされた文書の割合を測定することで定量化された。
• k-Meansバージョンは、BERTopicのパイプライン内でのHDBSCANの代替として採用され、外れ値なしのクラスタリングが性能を維持または向上させるかを評価した。

実験結果

リサーチクエスチョン

• RQ1 BERTopicは、大学の授業評価のような多様な短文テキスト分野において、LDAよりも一般化能力に優れているか？
• RQ2 HDBSCANの外れ値検出は、実世界の短文テキスト応用においてBERTopicの実用性をどの程度損なうか？
• RQ3 文書長さは、LDA、HDBSCANを用いたBERTopic、およびk-Meansを用いたBERTopicの性能にどのように影響するか？
• RQ4 k-Meansは、トピックの整合性と多様性を損なわせることなく、HDBSCANの代替として実用的であると評価できるか？
• RQ5 クラスタリングアルゴリズムの選択は、大学全体のトピックモデリングの文脈において、BERTopicのスケーラビリティと解釈可能性にどのように影響するか？

主な発見

• HDBSCANを用いたBERTopicは、大学全体のコロナにおいてトピックの整合性が0.091、多様性が0.880を達成し、LDAの整合性0.031と多様性0.718を顕著に上回った。
• HDBSCANは、授業評価の回答の74％を外れ値として分類しており、高い整合性と多様性のスコアにもかかわらず、実用的ユースケースにおいて著しく制限を受ける。
• k-Meansを用いたBERTopicは、整合性0.032、多様性0.571を維持し、外れ値を一切生成しないため、包括的な分析に適している。
• LDAおよびHDBSCANを用いたBERTopicと比較して、BERTopic k-Meansは短文に対してより頑健であり、長文と短文の間でトピック多様性の低下が最小限に抑えられ、δ = -0.001のわずかな性能低下しか示さなかった。
• HDBSCANを用いたBERTopicはドメイン間での一般化能力に優れるが、k-Meansを用いたBERTopicは、すべての文書を保持し、解釈可能性を維持するという実用的な妥協を提供する。
• 本研究では、評価指標における重要なギャップを特定した：現在の標準的な指標には、外れ値生成の影響を反映するものがないが、これは実世界の設定においてモデルの実用性に顕著な影響を与える。