[論文レビュー] Document Embedding for Scientific Articles: Efficacy of Word Embeddings vs TFIDF

H. Meijer, Joanne Truong+1 more|arXiv (Cornell University)|Jul 11, 2021

Topic Modeling参考文献 26被引用数 7

ひとこと要約

本研究では、スコパスから得た7000万件の論文コーパスを用いて、科学的論文の内容をモデリングする際の単語埋め込みとTF-IDFの有効性を評価する。word2vecで学習された埋め込み表現は、短いテキスト（タイトル）においてTF-IDFを上回る性能を示すが、長いテキスト（要旨）ではTF-IDFがわずかに優れている。ただし、TF-IDFはメモリ使用量が3.7倍で、計算時間は最大184倍も遅いため、オンライン利用においては埋め込み表現がはるかに効率的である。ジャーナル埋め込みの可視化により、関連するジャーナルの意味的クラスタリングが明確に観察された。

ABSTRACT

Over the last few years, neural network derived word embeddings became popular in the natural language processing literature. Studies conducted have mostly focused on the quality and application of word embeddings trained on public available corpuses such as Wikipedia or other news and social media sources. However, these studies are limited to generic text and thus lack technical and scientific nuances such as domain specific vocabulary, abbreviations, or scientific formulas which are commonly used in academic context. This research focuses on the performance of word embeddings applied to a large scale academic corpus. More specifically, we compare quality and efficiency of trained word embeddings to TFIDF representations in modeling content of scientific articles. We use a word2vec skip-gram model trained on titles and abstracts of about 70 million scientific articles. Furthermore, we have developed a benchmark to evaluate content models in a scientific context. The benchmark is based on a categorization task that matches articles to journals for about 1.3 million articles published in 2017. Our results show that content models based on word embeddings are better for titles (short text) while TFIDF works better for abstracts (longer text). However, the slight improvement of TFIDF for larger text comes at the expense of 3.7 times more memory requirement as well as up to 184 times higher computation times which may make it inefficient for online applications. In addition, we have created a 2-dimensional visualization of the journals modeled via embeddings to qualitatively inspect embedding model. This graph shows useful insights and can be used to find competitive journals or gaps to propose new journals.

研究の動機と目的

• 大規模な学術コーパスを用いて、単語埋め込みとTF-IDFが科学的論文の内容モデリングにどの程度有効であるかを評価すること。
• テキスト長の違い（タイトル vs. 要旨）に応じた単語埋め込みとTF-IDFの性能差を評価すること。
• ジャーナル分類を用いたベンチマークを構築・適用し、科学的文脈におけるコンテンツモデルの評価を行うこと。
• 学習された埋め込み表現を用いてジャーナルの関係性を可視化し、学術出版における構造的パターンを解明すること。
• オンラインアプリケーションを想定した場合の、埋め込み表現とTF-IDF表現の計算効率のトレードオフを特定すること。

提案手法

• スコパスデータベースに収録された約7000万件の科学的論文のタイトルおよび要旨を対象に、スキップグラム型word2vecモデルを学習した。
• 異なる語彙サイズ（5K, 10K）とハッシュバケット数（5K, 10K）を用いたTF-IDFを用いて、代替的な表現を生成した。
• 単語埋め込みにTF-IDF重みを組み込むために、平均化の前に各単語にTF-IDFスコアを重みとして適用した。
• ジャーナル分類ベンチマークを用いてモデルを評価した。各論文の内容表現と類似度が高いジャーナルを順位付けし、その順位を評価指標とした。
• t-SNEを用いて2次元空間にジャーナル埋め込みを可視化し、ジャーナル間の意味的関係を検査した。
• メモリ使用量と実行時間の両方を測定し、中央順位、絶対的ヒット率、計算コストの3つの指標を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みはTF-IDFを上回る性能を示すか。また、テキスト長（タイトル vs. 要旨）によってその差は変化するか。
• RQ2 オンラインアプリケーションを想定した場合、TF-IDFと単語埋め込みモデルの計算コスト（メモリ使用量と実行時間）はどのように比較されるか。
• RQ3 学習された単語埋め込みは、2次元可視化におけるクラスタリングによって、ジャーナル関連の意味的関係を効果的に捉えられるか。
• RQ4 単語埋め込みにTF-IDF重みを組み合わせることで、ジャーナル分類タスクの性能は著しく向上するか。
• RQ5 TF-IDFの性能が単語埋め込みを上回るような、臨界的なテキスト長は存在するか。

主な発見

• 単語埋め込みはタイトルにおいてTF-IDFを上回り、中央順位が35を記録した。一方、要旨ではTF-IDFが中央順位14を達成した。
• TF-IDFは要旨においてより高い正確性を示したが、単語埋め込みと比較して3.7倍のメモリ使用量と最大184倍の計算時間がかかった。
• TF-IDF重みを単語埋め込みに組み合わせた手法は、わずかな改善をもたらしたが、使用したデータセットでは統計的に有意な向上は観察されなかった。
• ジャーナル埋め込みの2次元可視化により、類似したジャーナルの意味的クラスタリングが明確に観察され、意味的関係が適切に保持されていることが示された。
• 中央順位、平均順位、絶対的ヒット率という3つの指標すべてにおいて、モデル間の性能差は一貫しており、タイトルにおいてはTF-IDFが優位な指標は一切観察されなかった。
• パラグラフベクトルやLDEのような高度なモデルを用いても顕著な改善は得られなかった。これは、ターゲットクラス数が多すぎる（3700種類）こと、およびジャーナルカテゴリの重複が多いためと推察される。