[論文レビュー] Transfer Topic Labeling with Domain-Specific Knowledge Base: An Analysis of UK House of Commons Speeches 1935-2014

Alexander Herzog, Peter John+1 more|arXiv (Cornell University)|Jun 3, 2018

Computational and Text Analysis Methods参考文献 21被引用数 6

ひとこと要約

本稿では、分野特異的知識ベース—具体的には比較政策プロジェクト（CAP）コードマニュアル—を活用して、1935–2014年の英国下院議会発言の動的トピックモデルにおけるトピックを半自動でラベル付ける手法を提案する。この手法は、農業や社会福祉などの政策分野では、23件のトピックのうち12件で熟練コーダーと強い一致を示したが、北アイルランドや手続き的統治問題など機関特異的またはアイデンティティ志向のトピックでは限界が顕在化した。

ABSTRACT

Topic models are widely used in natural language processing, allowing researchers to estimate the underlying themes in a collection of documents. Most topic models use unsupervised methods and hence require the additional step of attaching meaningful labels to estimated topics. This process of manual labeling is not scalable and suffers from human bias. We present a semi-automatic transfer topic labeling method that seeks to remedy these problems. Domain-specific codebooks form the knowledge-base for automated topic labeling. We demonstrate our approach with a dynamic topic model analysis of the complete corpus of UK House of Commons speeches 1935-2014, using the coding instructions of the Comparative Agendas Project to label topics. We show that our method works well for a majority of the topics we estimate; but we also find that institution-specific topics, in particular on subnational governance, require manual input. We validate our results using human expert coding.

研究の動機と目的

• 大規模な政治的テキストコーパスにおける手動トピックラベリングのスケーラビリティと主観性の問題を解決すること。
• 人為的ラベリングなしでは解釈不能なトピックを生じる非教師付きトピックモデリングの限界を克服すること。
• 分野特異的知識（例：CAPコードマニュアル）を統合してトピックラベリングを自動化しつつ、解釈可能性を維持する手法を開発すること。
• 長期間にわたる政治的テキストにおける概念の変化（コンセプト・ドリフト）を考慮し、時間経過とともに変化する動的トピックモデルを用いること。
• 熟練した人間コーダーとの比較によって、自動ラベリング手法の性能を検証し、トピックラベリングの信頼性と透明性を確保すること。

提案手法

• 1935–2014年の英国下院発言を年単位にグループ化し、動的トピックモデリング（DTM）を適用して80年間にわたるトピックの変化をモデル化する。
• 比較政策プロジェクト（CAP）コードマニュアルを分野特異的知識ベースとして用い、トピックキーワードを事前に定義された政策分類にマッピングする。
• 推定されたトピックとCAPの事前定義された政策コードとのキーワードオーバーラップに基づいてラベルを割り当てるトランスファー・ラベリング機構を実装する。
• トピックキーワードとCAPコードブックエントリとの間のジャカード類似度を計算し、ラベル割り当ての信頼性を評価する。
• 熟練コーダー間の一貫性を測定するためのフレイスのかば（Fleiss’ Kappa）を用い、自動ラベリング結果を人間コーダーのコードと照合して妥当性を検証する。
• 人間が関与するフィードバックを統合し、自動ラベルと専門家による第一・第二選択ラベルを比較することで、信頼性を評価し、曖昧または機関特異的なトピックを特定する。

実験結果

リサーチクエスチョン

• RQ1 農業や社会福祉など、分野特異的知識ベース（例：CAPコードマニュアル）が、立法的テキストの動的トピックモデルにおける自動トピックラベリングをどの程度改善できるか。
• RQ2 トランスファー・ラベリング手法は、長期間にわたる議会発言コーパスにおいて、時間経過に伴う政策的テーマの変化をどの程度的確に捉えることができるか。
• RQ3 どの政策分野でこの手法が熟練コーダーと高い一致を示し、どの分野で専門家の判断と一致しなかったか。
• RQ4 北アイルランドや地方自治体統治など、機関特異的またはアイデンティティ志向のトピックは、自動ラベリング手法にどのような挑戦をもたらすか。
• RQ5 この手法は、既存のコードフレームワークを有する政党マニフェスト、ソーシャルメディア、法的文書など、他の政治的テキスト分野へ一般化可能か。

主な発見

• トランスファー・トピックラベリング手法は、23件のトピックのうち12件で熟練コーダーと強い一致を示した。特に農業（#1）や社会福祉（#13, #14）では、フレイスのかばが0.6を超えた。
• トピック#1（農業）では、100%の専門家が自動手法と同一のラベルを選択し、ジャカード類似度は0.48、フレイスのかばは0.78であった。
• 銀行（#10）やマクロ経済（#16）のようなトピックでは、中程度から中程度の一致を示したが、熟練コーダー間の合意は低かった。フレイスのかばはそれぞれ0.3と0.46であった。
• 6件のトピックで自動手法と専門家との間に完全な不一致が生じた。特にトピック#23（北アイルランド）では、専門家が自動手法が割り当てた「人権、マイノリティ問題」ラベルを一貫して拒否した。
• 政策的内容と手続的言語を併せ持つトピック（例：#18, #22）では、キーワードが政府運営と立法手続の両方を反映しており、ラベルの曖昧さが生じた。
• 専門家はしばしば手続き的・機関的トピックに対して「政府運営」を包括的ラベルとして選ぶが、自動手法は政策特異的ラベルを正しく特定していた。これは、複雑なハイブリッドトピックにおいて、自動手法が人間コーダーを上回る可能性を示唆している。