[論文レビュー] Leipzig Corpus Miner - A Text Mining Infrastructure for Qualitative Data Analysis

Andreas Niekler, Gregor Wiedemann+1 more|arXiv (Cornell University)|Jul 11, 2017

Computational and Text Analysis Methods被引用数 12

ひとこと要約

ライプツィヒコーパスマイナー（LCM）は、大規模なテキストマイニングと定性的コンテンツ分析を統合するテキストマイニングインfrastrucureであり、NLPに熟達しない研究者でも、トピックモデリング、固有表現認識、教師あり分類などの高度な自然言語処理技術を大規模コーパスに適用できる。UIMAベースの処理パイプラインとユーザーフレンドリーなインターフェース、MongoDBをバックエンドに持つスキーマフリーなストレージを組み合わせることで、再現可能でスケーラブルかつ方法論的に整合性のある分析ワークフローを実現し、1946年から2012年までの350万件の新聞記事を用いた新自由主義とポスト民主主義に関する政治学的研究で実証された。

ABSTRACT

This paper presents the "Leipzig Corpus Miner", a technical infrastructure for supporting qualitative and quantitative content analysis. The infrastructure aims at the integration of 'close reading' procedures on individual documents with procedures of 'distant reading', e.g. lexical characteristics of large document collections. Therefore information retrieval systems, lexicometric statistics and machine learning procedures are combined in a coherent framework which enables qualitative data analysts to make use of state-of-the-art Natural Language Processing techniques on very large document collections. Applicability of the framework ranges from social sciences to media studies and market research. As an example we introduce the usage of the framework in a political science study on post-democracy and neoliberalism.

研究の動機と目的

• 人文学および社会科学分野のNLPに熟達しない研究者に対して、定性的コンテンツ分析と大規模テキストマイニングのギャップを埋めること。
• 孤立的または手作業によるテキストマイニングツールの限界を克服し、ビッグデータ上で統合的でマルチステージの分析ワークフローを可能にすること。
• NLP技術の体系的統合を通じて、定性的研究における再現性、信頼性、方法論的厳密性を高めること。
• 分野固有の研究手法を尊重しつつ計算処理能力を活用できる共通インターフェースを提供することで、異分野間連携を促進すること。
• 最新のNLPパイプラインを用いて、自動的ではあるが制御可能な大規模コーパスの処理を可能にすることで、伝統的なコンテンツ分析を拡張すること。

提案手法

• LCMはUIMAアーキテクチャを用い、トークン化、文境界検出、品詞タグ付け、固有表現認識、多語語ユニット検出などのNLPコンponent（アナレイター）を連鎖してテキスト処理を行う。
• OpenNLP、Stanford NER、JRC-Names、Wikipediaベースのツールを統合し、エンティティおよび用語検出を実施。ライプツィヒコーパスコレクションで訓練されたカスタムモデルを用いる。
• スキーマフリーなデータストレージシステム（MongoDB）により、スキーマ制約なしにメタデータ構造の動的追加・削除が可能で、柔軟なアノテーション処理を実現。
• ClearTKを介した教師あり学習をサポートし、パラメータを設定可能な分類およびトピックモデリングワークフローを可能にしている。
• アナリストが自動的に分類されたテキストスニペットを検証するアクティブラーニングループを実装。精度と再現率の追跡を伴い、モデル性能を段階的に改善する。
• ワークフローのコンposition（組み合わせ）を可能にし、あるプロセスの出力（例：キーワードやトピック）を次のプロセス（例：ドキュメント検索や分類）の入力として利用できる。

実験結果

リサーチクエスチョン

• RQ1 NLPに深い専門知識を要しない状態で、大規模テキストマイニングを定性的コンテンツ分析に体系的に統合する方法は何か？
• RQ2 自動化されたNLPパイプラインは、大規模テキストコーパスにおける定性的研究の信頼性と再現性をどの程度向上できるか？
• RQ3 トピックモデリングとキーワード抽出は、政治学分野のドメイン固有分析において、関連ドキュメントを特定・フィルタリングするためにどのように活用できるか？
• RQ4 アクティブラーニングと専門家による検証を組み合わせることで、新聞記事の議論的構造の準自動分類を高精度に達成できるか？
• RQ5 複数のNLP技術を1つのワークフローに統合することで、社会科学分野の定性的調査の深さと範囲はどのように拡張できるか？

主な発見

• LCMは、1946年から2012年までの350万件の新聞記事を含むコーパスを用いて、新自由主義とポスト民主主義に関する政治学的研究を成功裏に実施した。
• 36種類の新自由主義理論関連テキストから成るリファレンスコーパスを用い、500のキーワードを抽出。その後、このキーワードを用いて大規模コーパス内から1万件の関連ドキュメントを抽出した。
• 抽出されたサブセットに対してトピックモデリングを実施した結果、研究者が調査対象としている核心的政策分野に関連しないドキュメントをフィルタリングするためのテーマクラスタが明らかになった。
• 上位ドキュメントの議論的構造に対する手動アノテーションを通じて、定性的コード化に適した階層的カテゴリ体系が開発された。
• アクティブラーニングパイプラインにより、高信頼性の議論的テキスト部分の分類が達成され、アナリストが予測を検証または拒否することで、モデルの正確性が段階的に向上した。
• 最終的な分類結果が全コーパスに適用され、分類の割合の時間的推移を定量的分析するとともに、定性的解釈が可能になった。