[논문 리뷰] Text mining policy: Classifying forest and landscape restoration policy agenda with neural information retrieval

John Brandt|arXiv (Cornell University)|2019. 08. 07.

Computational and Text Analysis Methods참고 문헌 26인용 수 5

한 줄 요약

이 논문은 전이 학습과 단어 임베딩을 사용하여 다양한 국가 정책 문서에서 산림 및 경관 복원 정책 의제를 분류하는 비지도 학습 신경 정보 검색 접근법을 제안한다. 정책 의제를 검색 쿼리로 간주하고 문단과 쿼리의 임베딩 간 코사인 유사도를 적용함으로써, 말라위, 케냐, 르완다에서의 31건의 문서에 걸쳐 14개의 의제에서 F1 점수 0.83을 달성하며, 자동화된 정책 분 析에 있어 높은 정확도와 일반화 능력을 입증한다.

ABSTRACT

Dozens of countries have committed to restoring the ecological functionality of 350 million hectares of land by 2030. In order to achieve such wide-scale implementation of restoration, the values and priorities of multi-sectoral stakeholders must be aligned and integrated with national level commitments and other development agenda. Although misalignment across scales of policy and between stakeholders are well known barriers to implementing restoration, fast-paced policy making in multi-stakeholder environments complicates the monitoring and analysis of governance and policy. In this work, we assess the potential of machine learning to identify restoration policy agenda across diverse policy documents. An unsupervised neural information retrieval architecture is introduced that leverages transfer learning and word embeddings to create high-dimensional representations of paragraphs. Policy agenda labels are recast as information retrieval queries in order to classify policies with a cosine similarity threshold between paragraphs and query embeddings. This approach achieves a 0.83 F1-score measured across 14 policy agenda in 31 policy documents in Malawi, Kenya, and Rwanda, indicating that automated text mining can provide reliable, generalizable, and efficient analyses of restoration policy.

연구 동기 및 목표

• 다양한 거버넌스 구조로 분산된 다자간 복원 정책 일치도를 모니터링하는 과제를 해결하기 위해.
• 대규모 비정형 정책 텍스트에서 복원 정책 의제를 식별하고 분류하는 자동화되고 확장 가능한 방법을 개발하기 위해.
• 큰 레이블 데이터셋에 의존하지 않는 비지도 신경 검색을 통해 지도 학습 방법의 한계를 극복하기 위해.
• 빠른 스타일의 스테이크홀더 우선순위 및 정책 상호보완성 또는 갈등을 추출함으로써 근거 기반 복원 계획 수립을 지원하기 위해.
• 국가, 지역, 현지 수준의 스테이크홀더 간 복원 거버넌스에서 투명성과 조율을 향상시키기 위해.

제안 방법

• 이 방법은 전이 학습과 조밀한 단어 임베딩 기반의 신경 정보 검색 아키텍처를 활용하여 정책 문단의 고차원 표현을 생성한다.
• 정책 의제는 자연어 쿼리로 재구성되며, 이는 정책 텍스트와 동일한 벡터 공간에 임bedded된다.
• 분류 작업은 문단 임베딩과 쿼리 임베딩 간의 코사인 유사도를 통해 수행되며, 관련성 여부를 결정하기 위해 임계값을 사용한다.
• 이 접근법은 대규모 레이블 데이터셋에 의존하지 않고 도메인 특화 정책 텍스트를 기반으로 비지도 학습을 수행한다.
• 도메인 특화 정확도 향상을 위해 쿼리 확장 및 임계값 선택 단계에서 인간의 참여를 통한 개선이 이루어진다.
• 재현 가능성과 객관성을 확보하기 위해 메타데이터, 텍스트 추출물, 페이지 참조 정보를 결과에 함께 제시한다.

실험 결과

연구 질문

• RQ1 신경 정보 검색이 비정형 국가 정책 문서 내 다양한 복원 정책 의제를 효과적으로 분류할 수 있는가?
• RQ2 비지도, 임베딩 기반 검색 방법이 다양한 국가 및 정책 문서 유형 간에 얼마나 잘 일반화되는가?
• RQ3 이 방법이 복원 거버넌스에서 다각도의 이해관계자 간 정책 상호보완성 또는 갈등을 어느 정도 식별할 수 있는가?
• RQ4 저자원 정책 분석 환경에서 기존의 지도 학습 분류 방법과 비교해 이 방법의 성능은 어떠한가?
• RQ5 이 방법은 의제 존재 여부 외에도 정책 텍스트 내 감성 또는 이행 의도를 탐지하는 데 적용될 수 있는가?

주요 결과

• 이 방법은 말라위, 케냐, 르완다에서의 31건의 국가 정책 문서에서 14개의 복원 정책 의제에 대해 F1 점수 0.83을 달성했다.
• 다양한 언어 스타일과 구조적 형식을 가진 다양한 정책 문서 간 높은 일반화 능력을 보였다.
• 전이 학습과 단어 임베딩의 활용으로 대규모 레이블 훈련 데이터가 없더라도 정책 내용을 효과적으로 표현할 수 있었다.
• 쿼리 확장 및 임계값 조정 단계에서 인간의 감독이 분류 정확도와 해석 가능성에 크게 기여했다.
• 이 방법은 문단 수준에서 정책 의제를 성공적으로 추출하고 분류하여 이해관계자 우선순위에 대한 세밀한 분석을 가능하게 했다.
• 결과적으로 신경 정보 검색이 복원 정책 프레임워크의 격차와 일치하지 않는 부분을 식별하는 확장 가능하고 투명한 도구로 활용될 수 있음을 시사한다.