[論文レビュー] Cross-Discourse and Multilingual Exploration of Textual Corpora with the DualNeighbors Algorithm

Taylor Arnold, Lauren Tilton|arXiv (Cornell University)|Aug 1, 2018

Natural Language Processing Techniques参考文献 32被引用数 1

ひとこと要約

DualNeighborsアルゴリズムは、言語的・文化的境界を越えて主題的に類似したドキュメントを特定することで、テクストコーパスのクロスドメイン的・マルチリンガル的探索を可能にする。従来の単語頻度手法が見逃す可能性のある隠れたつながりを明らかにする。この手法は、意味的類似性に基づいてドキュメントをリンクする二重近傍分析を用い、人文学および社会科学分野のデータセットにおいて、クロスカルチャルな主題的つながりを解明する有効性が実証されている。

ABSTRACT

Word choice is dependent on the cultural context of writers and their subjects. Different words are used to describe similar actions, objects, and features based on factors such as class, race, gender, geography and political affinity. Exploratory techniques based on locating and counting words may, therefore, lead to conclusions that reinforce culturally inflected boundaries. We offer a new method, the DualNeighbors algorithm, for linking thematically similar documents both within and across discursive and linguistic barriers to reveal cross-cultural connections. Qualitative and quantitative evaluations of this technique are shown as applied to two cultural datasets of interest to researchers across the humanities and social sciences. An open-source implementation of the DualNeighbors algorithm is provided to assist in its application.

研究の動機と目的

• 単語頻度手法の制限を是正すること。これは文化的バイアスを強化する可能性がある。
• 言語的・語用的境界を越えて主題的に類似したドキュメントを特定する手法を開発すること。
• 従来のキーワードベースのアプローチによって隠蔽される、テキストコーパス内のクロスカルチャルなつながりを明らかにすること。
• 人文学および社会科学分野の研究者が、多様な文化的・言語的データセットを横断して主題的つながりを探索できるツールを提供すること。

提案手法

• DualNeighborsアルゴリズムは、文脈に応じた埋め込み表現を用いてドキュメント表現を構築し、表面的な語の選択を超えた意味的意味を捉える。
• 言語固有のドキュメントクラスタ内および間で、類似した意味的プロファイルを持つ「近傍」（ドキュメント）を同定する。
• 二重近傍アプローチを用いて、二つの別個のコーパス内のドキュメントを比較し、言語を越えたおよび語用的文脈を越えた整合を図る。
• ドキュメント間の意味的類似性は、事前に学習された言語表現から導かれるベクトル空間モデルを用いて計算される。
• 共通の意味的空間を介して埋め込みを言語間で整合させることで、マルチリンガル分析をサポートする。
• 再現可能性および多様な研究文脈への応用を促進するために、オープンソース実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして言語的・文化的境界を越えてドキュメント間の主題的類似性を同定できるか？
• RQ2 DualNeighborsアルゴリズムは、キーワードベースの手法が見逃すクロスカルチャルなつながりをどの程度明らかにできるか？
• RQ3 同じ言語内で異なる語用的コミュニティに属するドキュメントをリンクする際、このアルゴリズムの有効性はいかほどか？
• RQ4 翻訳や並列テキストに依存せずに、マルチリンガルコーパスにおいて意味的主題的関係を検出できるか？
• RQ5 実世界の文化的データセットにおける、DualNeighborsが生成するドキュメントクラスタの定性的および定量的特徴は何か？

主な発見

• DualNeighborsアルゴリズムは、言語的・文化的境界を越えて主題的に類似したドキュメントを効果的に同定し、単語頻度分析では明らかにならないつながりを明らかにした。
• この手法は、二つの人文科学を対象としたデータセットにおいて、クロスカルチャルな主題的つながりを解明し、多様な分野の研究における有用性を示した。
• 定量的評価により、ベースライン手法と比較して、多様な語用的コミュニティにおける主題的一致性の検出が向上した。
• 定性的分析により、言語的・文化的境界を越えて、関連性があり文脈的に意味のあるドキュメントペアが適切に抽出されたことが確認された。
• オープンソース実装により、研究者が自らのテキストコーパスに対してこの手法を再現・拡張できるようになった。