[論文レビュー] Hedge detection as a lens on framing in the GMO debates: A position paper

Eunsol Choi, Chenhao Tan+3 more|arXiv (Cornell University)|Jun 5, 2012

Climate Change Communication and Perception参考文献 28被引用数 24

ひとこと要約

本稿では、GMO関連のプロおよびアンチGMOメディア記事におけるフレーミングの違いを、ハッジ検出を計算的レンズとして用いることで検討する。科学的議論は一般向け科学よりもハッジを少なく用いるという仮説を提示する。科学的（WOS）およびニュース（LEXIS）コーパス上で訓練されたハッジ分類器を用い、著者らは、科学的テキストにおいてハッジがより頻繁に出現しないという予備的証拠を発見した—これは先行研究とは矛盾する—、公共の議論における修辞的フレーミングを研究するにあたり、より強固でドメイン適応型のモデルの必要性を強調する。

ABSTRACT

Understanding the ways in which participants in public discussions frame their arguments is important in understanding how public opinion is formed. In this paper, we adopt the position that it is time for more computationally-oriented research on problems involving framing. In the interests of furthering that goal, we propose the following specific, interesting and, we believe, relatively accessible question: In the controversy regarding the use of genetically-modified organisms (GMOs) in agriculture, do pro- and anti-GMO articles differ in whether they choose to adopt a "scientific" tone? Prior work on the rhetoric and sociology of science suggests that hedging may distinguish popular-science text from text written by professional scientists for their colleagues. We propose a detailed approach to studying whether hedge detection can be used to understanding scientific framing in the GMO debates, and provide corpora to facilitate this study. Some of our preliminary analyses suggest that hedges occur less frequently in scientific discourse than in popular text, a finding that contradicts prior assertions in the literature. We hope that our initial work and data will encourage others to pursue this promising line of inquiry.

研究の動機と目的

• プロおよびアンチGMOメディア記事が、ハッジの使用によって定義される「科学的トーン」をどの程度採用しているかを調査すること。
• ハッジ検出が、公共の議論における修辞的フレーミングを分析する計算的ツールとして機能できるかを検討すること。
• 科学的議論が一般向け科学よりもハッジを多く含むという仮定を、GMO文脈において実証的に検証することで、これを疑うこと。
• 科学的要約とニュース記事を含む混合ドメインコーパス上で、ハッジ検出システムを構築・評価し、ドメインを越えてその信頼性を評価すること。
• 今後の科学的コミュニケーションにおけるフレーミング、ハッジ、および公共の意見形成に関する研究の基盤を提供し、アノテート済みデータセットを提供すること。

提案手法

• 著者らは、CoNLL 2010共有タスクデータセットをベースとし、WOS（科学的要約）およびLEXIS（ニュース記事）から抽出した153文の追加アノテーションを用いて、ハッジ検出分類器を訓練した。
• キューに基づくアプローチを採用し、n-gramおよび語彙的パターンを用いてハッジ表現を同定し、WOSおよびLEXISの小規模な手動アノテーションサブセットを用いてモデルをチューニングした。
• モデルは両ドメインで評価され、精度、再現率、F1スコアを用いてアノテート済みテストセット上で性能を測定した。
• 生物学的科学テキスト（Bio）のみで訓練されたモデルと、WOSおよびLEXISデータを併用してチューニングしたモデルの性能を比較し、ドメイン適応の有効性を評価した。
• 誤分類の原因を特定するため、文長および誤検出（偽陽性）・誤検出（偽陰性）のパターンを分析し、特に長い文における誤りを診断した。
• 最良のモデルを用いて、WOSおよびLEXISにおける不確実とされる文の割合（すなわち、ハッジを含む文）を報告した。

実験結果

リサーチクエスチョン

• RQ1 プロGMOおよびアンチGMOメディア記事は、ハッジの使用において差を示しており、修辞的フレーミングの乖離を示唆しているか？
• RQ2 一般向け科学（例：LEXISニュース記事）と比較して、科学的議論（例：WOS要約）においてハッジがより頻繁に出現しないという、先行仮定とは逆の事実が確認できるか？
• RQ3 計算的に訓練されたハッジ検出システムは、ドメインを越えて科学的テキストと一般向け科学テキストを信頼性高く区別できるか？
• RQ4 ドメイン不一致がハッジ検出モデルの性能に与える影響は何か？ また、ドメイン跨ぎ一般化を向上させる戦略は何か？
• RQ5 文長および語彙的キューの頻度は、ハッジ検出における誤分類にどの程度寄与しているか？

主な発見

• 生物学的科学テキスト（Bio）で訓練されたハッジ検出モデルは、WOSではLEXISよりも高いF1スコアを達成しており、科学的テキストでの性能が優れていることを示している。
• WOSおよびLEXISの両データを用いてチューニングしたモデルは、WOSでは性能が向上したが、LEXISでは向上しなかった。これはドメイン固有の課題があることを示唆している。
• 偽陽性文は、偽陰性文よりも顕著に長く（平均35.09語）、長い文は不確実と誤分類されやすいことを示している。
• Bioモデルは、WOSとLEXISにおけるハッジ頻度に統計的に有意な差（16％ 対 19％ の不確実文）を示したが、チューニング済みモデルではその差は認められず、結果の不安定性が示された。
• 本研究の予備的結果は、科学的文章においてハッジが一般向け科学よりも頻繁に出現しない可能性を示唆しており、文献に記された先行主張とは矛盾する。
• 著者らは、現在のモデルは決定的な結論を下すのに十分な信頼性を欠いていると結論づけ、ドメイン跨ぎハッジ検出のためのより多くのアノテートデータと、改善されたトランスファー学習技術の必要性を強調している。