[논문 리뷰] Using Natural Language Processing and Networks to Automate Structured Literature Reviews: An Application to Farmers Climate Change Adaptation

Sofía Gil‐Clavel, Tatiana Filatova|arXiv (Cornell University)|2023. 06. 16.

Computational and Text Analysis Methods인용 수 5

한 줄 요약

이 논문은 기후 변화 적응 연구 분야에서 구조화된 문헌 고찰을 자동화하기 위해 자연어 처리(NLP)와 네트워크 시각화를 융합한 기술적이고 해석 가능한 방법론을 제안한다. 7,000篇 이상의 논문에서 동사 기반 감성 분석과 네트워크 맵핑을 통해 변수 간 관계를 추출하고 시각화한 결과, '정보'가 농민의 적응과 가장 자주 긍정적으로 연관된 요소로 드러났으며, 연령, 교육 수준, 성별 역시 긍정적으로 관련되어 있음을 확인했다. 이는 투명하고 이론 기반의 블랙박스 요약 모델에 대체할 수 있는 해석 가능한 방법을 제공한다.

ABSTRACT

The fast-growing number of research articles makes it problematic for scholars to keep track of the new findings related to their areas of expertise. Furthermore, linking knowledge across disciplines in rapidly developing fields becomes challenging for complex topics like climate change that demand interdisciplinary solutions. At the same time, the rise of Black Box types of text summarization makes it difficult to understand how text relationships are built, let alone relate to existing theories conceptualizing cause-effect relationships and permitting hypothesizing. This work aims to sensibly use Natural Language Processing by extracting variables relations and synthesizing their findings using networks while relating to key concepts dominant in relevant disciplines. As an example, we apply our methodology to the analysis of farmers' adaptation to climate change. For this, we perform a Natural Language Processing analysis of publications returned by Scopus in August 2022. Results show that the use of Natural Language Processing together with networks in a descriptive manner offers a fast and interpretable way to synthesize literature review findings as long as researchers back up results with theory.

연구 동기 및 목표

• 기후 변화 적응 및 관련 다학제 분야에서 급격히 증가하는 연구량을 따라잡는 데 도전하는 것.
• 텍스트 요약에서 추론 과정을 숨기고 이론적 해석을 어렵게 만드는 블랙박스 기계학습 모델의 한계를 극복하는 것.
• 연구자들이 대규모 문헌 데이터베이스 내 변수 간 관계를 시각화하고 통합할 수 있도록 해석 가능한, 이론 기반의 NLP 방법을 개발하는 것.
• 2022년 8월 기준 스푸코스 인용 논문을 대상으로 한 사례 연구를 통해 이 방법의 유용성을 입증하는 것.
• 해석 가능성과 추적 가능성이 떨어지는 추출형 및 개괄형 요약 시스템에 대한 재현 가능하고 투명한 대안을 제공하는 것.

제안 방법

• 핵심 용어(예: '농민', '기후 변화', '적응') 간 관계를 문맥에 따라 긍정, 부정, 중립으로 분류하기 위해 맞춤형 동사 사전을 활용한다.
• NLP 기법을 사용해 논문 초록과 전문에서 주어-서술어-목적어 삼연체를 추출하며, 원인관계나 연관관계에 중점을 둔다.
• 노드는 변수를, 간선은 동사 분류로부터 유도된 연관성의 강도와 방향을 나타내는 네트워크를 구성한다.
• 간선의 가중치는 변수 쌍을 연결하는 동사의 빈도와 감성에 따라 결정되며, 주요 관계의 시각적 맵핑을 가능하게 한다.
• 결과 네트워크 시각화는 노드 중심성과 색상 코딩을 통해 빈도와 연관성 방향을 명시하여 해석 가능성을 향상시킨다.
• 기후 변화 적응 분야의 기존 이론과 비교하여 결과를 검증함으로써, 기존 경험적 및 이론적 문헌과의 일치성을 확보한다.

Figure 1 : Articles’ distribution by year and Scopus area (total N=275). The acronyms stand for: Arts and Humanities (ARTS); Environmental Science (ENVI); Social Sciences (SOCI); Multidisciplinary (MULT).

실험 결과

연구 질문

• RQ1 NLP와 네트워크 시각화를 어떻게 융합하여 대규모 문헌 데이터베이스에서의 연구 결과를 기술적이고 해석 가능한 방법으로 통합할 수 있는가?
• RQ2 기후 변화에 대한 농민의 적응과 가장 자주 연관되는 변수는 무엇이며, 그 연관성의 방향은 어떠한가?
• RQ3 추출된 관계들이 기후 변화 적응 분야의 기존 이론과 어느 정도 일치하는가? 특히 사회적·인구통계학적 요인과 정보 관련 요인에 대해 살펴본다.
• RQ4 수동으로 코딩된 동사 사전을 사용할 경우, 블랙박스 NLP 모델 대비 해석 가능성에서 어떤 개선이 이루어지는가?
• RQ5 네트워크 시각화는 기후 적응 분야의 대규모 문헌 코퍼스에서 변수의 동시 발생 패턴과 연관성 강도를 효과적으로 드러낼 수 있는가?

주요 결과

• '정보'라는 용어가 농민의 적응과 가장 자주 긍정적으로 연관된 요소로 나타나, 인식 향상, 적응 능력 향상 및 의사결정 지원에 핵심적인 역할을 한다는 점을 시사한다.
• 기타 자주 긍정적으로 연관된 변수로는 연령, 성별, 교육 수준, 지식 등이 있으며, 이는 사회적·인구통계학적 요인과 인지적 요인이 적응 능력에 상당한 영향을 미친다는 것을 시사한다.
• 정부 및 사회자본은 중립적인 연관성을 보였으며, 정책 및 사회적 영향력의 복잡하고 맥락에 따라 달라지는 역할을 이론적 기대와 일치시킨다.
• 네트워크 시각화 결과, '시장'과 '접근성 확대 전문가'와 같은 변수는 중심성이 낮아 문헌 내 적응 논의에서 덜 자주 등장하거나 덜 두드러진 역할을 하고 있음을 확인했다.
• 이 방법은 관계의 빈도와 방향을 성공적으로 시각화했으며, 중심 노드는 높은 연결성을 반영하여 문헌 내에서 더 두드러진 위치를 차지하고 있음을 보여주었다.
• 이 방법은 결과의 전부를 원본 논문과 동사 수준의 분류에 직접 연결할 수 있어 추적 가능성을 보장하며, 블랙박스 모델에서 흔히 볼 수 있는 투명성 부족 문제를 줄였다.

Figure 2 : Flow chart diagram presenting our algorithm based on Bui et al. (2016). Boxes with bolded words signal the steps we added.