[논문 리뷰] Cross-Discourse and Multilingual Exploration of Textual Corpora with the DualNeighbors Algorithm

Taylor Arnold, Lauren Tilton|arXiv (Cornell University)|2018. 08. 01.

Natural Language Processing Techniques참고 문헌 32인용 수 1

한 줄 요약

DualNeighbors 알고리즘은 어휘적·문화적 경계를 초월해 주제적으로 유사한 문서를 식별함으로써 텍스트 코퍼스의 교차적·다국어적 탐색을 가능하게 하며, 기존의 단어 수세기 방법이 간과할 수 있는 숨겨진 연결 고리를 드러낸다. 이 방법은 의미적 유사성에 기반해 문서를 연결하기 위해 이중 이웃 분석을 사용하며, 평가 결과 인간학 및 사회과학 데이터셋에서 교차 문화적 주제적 연결 고리를 효과적으로 드러내는 것으로 입증되었다.

ABSTRACT

Word choice is dependent on the cultural context of writers and their subjects. Different words are used to describe similar actions, objects, and features based on factors such as class, race, gender, geography and political affinity. Exploratory techniques based on locating and counting words may, therefore, lead to conclusions that reinforce culturally inflected boundaries. We offer a new method, the DualNeighbors algorithm, for linking thematically similar documents both within and across discursive and linguistic barriers to reveal cross-cultural connections. Qualitative and quantitative evaluations of this technique are shown as applied to two cultural datasets of interest to researchers across the humanities and social sciences. An open-source implementation of the DualNeighbors algorithm is provided to assist in its application.

연구 동기 및 목표

• 단어 빈도 기반 방법의 한계를 해결하기 위해, 이는 문화적으로 편향된 경계를 강화할 수 있기 때문이다.
• 언어적·논의적 갈림길을 초월해 주제적으로 유사한 문서를 식별하는 방법을 개발하기 위해.
• 기존의 关键어 기반 접근 방식에 의해 가려질 수 있는 텍스트 코퍼스 내 교차 문화적 연결 고리를 드러내기 위해.
• 인문학 및 사회과학 분야의 연구자들이 다양한 문화적·언어적 데이터셋 간 주제적 연결 고리를 탐색할 수 있도록 도구를 제공하기 위해.

제안 방법

• DualNeighbors 알고리즘은 표면적 단어 선택을 초월해 의미를 포착할 수 있도록 맥락 기반 임bedding을 사용해 문서 표현을 구성한다.
• 이 알고리즘은 언어별 문서 클러스터 내외에서 의미 프로파일이 유사한 '이웃' 문서를 식별한다.
• 이중 이웃 접근 방식을 통해 두 개의 별도된 코퍼스 내 문서를 비교함으로써 다국어적·교차 논의적 정렬을 가능하게 한다.
• 문서 간 의미적 유사성은 사전에 훈련된 언어 표현에서 유도된 벡터 공간 모델을 사용해 계산된다.
• 공유된 의미 공간을 통해 다국어 분석을 지원하며, 언어 간 임베딩을 정렬한다.
• 재현 가능성과 다양한 연구 맥락에서의 적용을 촉진하기 위해 오픈소스 구현체를 제공한다.

실험 결과

연구 질문

• RQ1 어떻게 언어적·문화적 경계를 초월해 문서 간 주제 유사성을 식별할 수 있는가?
• RQ2 DualNeighbors 알고리즘이 관건어 기반 방법이 간과하는 교차 문화적 연결 고리를 어느 정도 드러내는가?
• RQ3 동일한 언어에서 다른 논의 공동체의 문서를 연결하는 데에 이 알고리즘이 얼마나 효과적인가?
• RQ4 번역 또는 병렬 텍스트에 의존하지 않고도 다국어 코퍼스에서 의미 있는 주제적 관계를 탐지할 수 있는가?
• RQ5 실제 문화 데이터셋에서 DualNeighbors가 생성한 문서 클러스터의 정량적·정성적 특성은 무엇인가?

주요 결과

• DualNeighbors 알고리즘은 언어적·문화적 경계를 초월해 주제적으로 유사한 문서를 성공적으로 식별하여, 단어 빈도 분석으로는 드러나지 않는 연결 고리를 드러냈다.
• 이 방법은 두 개인 인문학 중심 데이터셋에서 교차 문화적 주제적 연결 고리를 드러내며, 다학제적 연구에서의 유용성을 입증했다.
• 정량적 평가 결과, 기준 방법 대비 다양한 논의 공동체 간 주제의 일관성 탐지 능력이 향상됨을 확인했다.
• 정성적 분석을 통해 알고리즘이 언어와 문화적 갈림길을 초월해 관련성 있고 맥락적으로 의미 있는 문서 쌍을 효과적으로 추출하는 것으로 확인되었다.
• 오픈소스 구현체 덕분에 연구자들이 자신의 텍스트 코퍼스에서 이 방법을 재현하고 확장할 수 있게 되었다.