[論文レビュー] Using Natural Language Processing and Networks to Automate Structured Literature Reviews: An Application to Farmers Climate Change Adaptation

Sofía Gil‐Clavel, Tatiana Filatova|arXiv (Cornell University)|Jun 16, 2023

Computational and Text Analysis Methods被引用数 5

ひとこと要約

本稿では、自然言語処理（NLP）とネットワーク可視化を組み合わせた記述的かつ解釈可能な手法を提案し、気候変動適応研究分野における構造的な文献レビューを自動化する。7,000篇以上の論文から動詞ベースの感情分析とネットワークマッピングを用いて変数間の関係を抽出・可視化することで、農業従事者による適応と最も頻繁に正の関連が見られる要因は「情報」であることが明らかになった。年齢、教育、性別についても正の関連が確認され、ブラックボックス型要約モデルとは対照的に、透明性があり理論的根拠に基づいた代替手法を提供する。

ABSTRACT

The fast-growing number of research articles makes it problematic for scholars to keep track of the new findings related to their areas of expertise. Furthermore, linking knowledge across disciplines in rapidly developing fields becomes challenging for complex topics like climate change that demand interdisciplinary solutions. At the same time, the rise of Black Box types of text summarization makes it difficult to understand how text relationships are built, let alone relate to existing theories conceptualizing cause-effect relationships and permitting hypothesizing. This work aims to sensibly use Natural Language Processing by extracting variables relations and synthesizing their findings using networks while relating to key concepts dominant in relevant disciplines. As an example, we apply our methodology to the analysis of farmers' adaptation to climate change. For this, we perform a Natural Language Processing analysis of publications returned by Scopus in August 2022. Results show that the use of Natural Language Processing together with networks in a descriptive manner offers a fast and interpretable way to synthesize literature review findings as long as researchers back up results with theory.

研究の動機と目的

• 気候変動適応および関連する多様な分野における研究の急増する量に対応する課題に対処すること。
• テキスト要約におけるブラックボックス型機械学習モデルの限界を克服すること。これらは推論プロセスを曇らせ、理論的解釈を困難にする。
• 研究者が大規模な文献データベースにおける変数間の関係を可視化し統合できる、解釈可能で理論的根拠に基づいたNLP手法を開発すること。
• 2022年8月のScopusインデックス論文を用いた事例研究を通じて、本手法の実用性を示すこと。
• 解釈不能で追跡不能な抽出型・要約型要約システムとは対照的に、再現可能で透明性のある代替手法を提供すること。

提案手法

• キーワード（例：『農業従事者』、『気候変動』、『適応』）間の関係を文脈に基づき、肯定的、否定的、中立的と分類するためのカスタマイズされた動詞辞書を用いる。
• NLP技術を用いて、論文の要約や本文から主語・動詞・目的語の三項組を抽出し、因果的または関連的関係に焦点を当てる。
• ノードが変数を、エッジが動詞分類に基づいて導かれる関連の強さと方向性を表すネットワークを構築する。
• エッジの重みは、変数ペアを結ぶ動詞の頻度と感情分析に基づき決定され、主要な関係の可視化を可能にする。
• 得られたネットワーク可視化では、ノードの中心性と色分けを用いて頻度と関連の方向性を示し、解釈性を向上させる。
• 気候変動適応分野における既存の理論と照合することで、本手法の妥当性を検証し、既存の実証的および理論的文献と整合することを確認する。

Figure 1 : Articles’ distribution by year and Scopus area (total N=275). The acronyms stand for: Arts and Humanities (ARTS); Environmental Science (ENVI); Social Sciences (SOCI); Multidisciplinary (MULT).

実験結果

リサーチクエスチョン

• RQ1 NLPとネットワーク可視化をどのように統合することで、大規模な文献データベースからの知見を記述的かつ解釈可能な方法で統合できるか？
• RQ2 農業従事者の気候変動適応に関連して最も頻繁に関連する変数は何か。また、それらの関連の方向性は何か？
• RQ3 抽出された関係は、特に社会的・文化的要因および情報関連要因に関して、気候変動適応分野における既存理論とどの程度整合するか？
• RQ4 手作業でカスタマイズされた動詞辞書を用いることで、文献統合におけるブラックボックス型NLPモデルに比べて解釈性がどの程度向上するか？
• RQ5 ネットワーク可視化は、気候変動適応文献の大規模コーパスにおける変数の共起パターンや関連の強度を効果的に明らかにできるか？

主な発見

• 『情報』という用語が、農業従事者の適応と最も頻繁に肯定的関連が確認され、意識の向上、適応能力の強化、意思決定支援における中心的役割を果たしていることが示唆された。
• 年齢、性別、教育、知識といった他の変数についても、頻繁に肯定的関連が確認され、社会的・文化的要因および認知的要因が適応能力に顕著に寄与していることが示された。
• 政府関連および社会的資本については中立的関連が確認され、政策的影響力や社会的影響力におけるそれらの複雑で文脈依存的な役割が理論的期待と整合していることを裏付けた。
• ネットワーク可視化により、『市場』や『アクセス拡張エージェント』といった変数の中心性が低く、文献における議論における頻度や顕著性が低いことが明らかになった。
• 本手法により、関連の頻度と方向性が効果的に可視化され、中心的なノードは高い接続性を示し、文献内での優位性が顕著に反映された。
• 本手法は、結果の出典となる論文および動詞レベルの分類に完全に追跡可能であり、ブラックボックスモデルにありがちな曇りのない透明性を実現した。

Figure 2 : Flow chart diagram presenting our algorithm based on Bui et al. (2016). Boxes with bolded words signal the steps we added.