[論文レビュー] The State of NLP Literature: A Diachronic Analysis of the ACL Anthology

Saif M. Mohammad|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 22被引用数 13

ひとこと要約

本論文は、2019年6月時点のACL Anthologyを対象に、時間的経過に伴う自然言語処理（NLP）分野の研究生産性、研究焦点、影響力の動向を分析する。約45,000件の論文とGoogle Scholarの被引用情報を用いた分析から、継続的な性別格差が明らかになった。2000年以降、初著者としての女性の割合は約30％にとどまり、学術的経験年数を補正しても、女性初著者は男性に比べて著しく少ない被引用数を獲得していることから、NLP分野の文献における構造的被引用バイアスが示唆された。

ABSTRACT

The ACL Anthology (AA) is a digital repository of tens of thousands of articles on Natural Language Processing (NLP). This paper examines the literature as a whole to identify broad trends in productivity, focus, and impact. It presents the analyses in a sequence of questions and answers. The goal is to record the state of the AA literature: who and how many of us are publishing? what are we publishing on? where and in what form are we publishing? and what is the impact of our publications? The answers are usually in the form of numbers, graphs, and inter-connected visualizations. Special emphasis is laid on the demographics and inclusiveness of NLP publishing. Notably, we find that only about 30% of first authors are female, and that this percentage has not improved since the year 2000. We also show that, on average, female first authors are cited less than male first authors, even when controlling for experience. We hope that recording citation and participation gaps across demographic groups will encourage more inclusiveness and fairness in research.

研究の動機と目的

• ACL AnthologyにおけるNLP文献の現状を分析し、著者構成、研究焦点、出版学会、被引用影響力の動向を理解すること。
• 時間経過に伴うNLP出版における人種的・性別の多様性、特に性別多様性の推移を調査すること。
• 学術的経験年数や経験を補正した上で、男性と女性の初著者間の被引用数の差を定量的に評価すること。
• 参加機会と被引用影響力における構造的不平等を浮き彫りにし、NLP研究分野における包摂的で公平な環境の促進を目的とする。

提案手法

• ACL Anthology（44,896件の研究論文）およびGoogle Scholar（2019年6月時点）からメタデータと被引用データを収集した。
• データ可視化ツール（Tableau）を用いて、出版動向、著者属性、被引用パターンの時間的推移を示すインタラクティブな可視化を実施した。
• 名前ベースの推定を用いて初著者を性別（男性、女性、不明）に分類し、既知の性別分布による妥当性を検証した。
• 学術的経験年数（初出論文からの年数）を補正した上で、被引用数の性別差を統計的分析で比較した。
• 題名に基づくバイグラム分析を用いて研究分野を分類し、高影響力分野の特定とその分野における性別の代表性を評価した。
• 国際会議（例：LREC, COLING）や年次単位での出版動向を追跡し、生産性と学会選好の傾向を分析した。

実験結果

リサーチクエスチョン

• RQ1 ACL Anthologyの出版物数と著者数の規模と成長傾向は、時間経過でどのように変化しているか？
• RQ2 1965年以降、NLP論文における初著者の性別構成はどのように変化してきたか？
• RQ3 男性と女性の初著者間で著しく異なる被引用数が見られ、学術的経験年数を補正してもその差が残るか？
• RQ4 どの研究分野で性別による被引用ギャップが顕著であり、逆に女性の被引用数が男性を上回る分野はどこか？
• RQ5 男性と女性の著者が、学術的キャリアの各段階でどのように被引用パターンを示しているか？

主な発見

• 2000年以降、ACL Anthologyにおける初著者の約30％が女性であり、時間の経過とともに顕著な改善は見られない。
• 学術的経験年数や経験を補正しても、女性初著者は男性初著者に比べて著しく少ない被引用数を獲得している。
• 2000年代以降、男性と女性の初著者間の被引用ギャップはわずかに縮小したが、依然として統計的に有意な差が存在する。
• 59の代表的高被引用研究分野のうち12％（7件）において、女性の平均被引用数が男性を上回っており、感情分析や対話システム分野がその例外にあたる。
• 性別不明の初著者割合は時間経過とともに増加しており、これはグローバルな多様性の向上を示唆するが、既存の不平等を完全に相殺するものではない。
• 被引用ギャップはほとんどの研究分野で継続しており、性別による集中が低影響力分野に起因するわけではないことが示唆された。